论文题目

A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution

1简介

基于深度学习的方法在解决盲超分辨率 (BSR) 问题方面取得了显著成功。然而，其中大多数方法需要在标记数据集上进行监督预训练。本文提出了一种无监督核估计模型，称为动态核先验 (DKP)，以实现一种无监督且无需预训练的基于学习的算法来解决 BSR 问题。DKP 可以自适应地学习动态核先验，实现实时核估计，从而实现优越的高分辨率图像恢复性能。这是通过对随机核分布进行马尔可夫链蒙特卡罗采样过程实现的。然后将学习到的核先验分配给优化模糊核估计网络，该网络包含基于网络的朗之万动力学优化策略。这两种技术确保了核估计的准确性。DKP 可以很容易地用于替换现有方法中的核估计模型，例如 Double-DIP 和 FKP-DIP，或者添加到现成的图像恢复模型中，例如扩散模型。本文将DKP 模型与 DIP 和扩散模型相结合，分别称为 DIP-DKP 和 Diff-DKP，用于验证。在高斯和运动核场景下进行的大量模拟表明，所提出的 DKP 模型可以显著提高核估计，同时具有可比的运行时间和内存使用量，从而实现最先进的 BSR 结果。

本文提出了一种动态核先验 (DKP) 生成模型，该模型可以与大多数图像恢复 (IR) 模型相结合，以无监督的方式解决 BSR 问题。所提出的 DKP 模型包含两个模块：随机核采样 (RKS) 模块和先验核估计 (PKE) 模块。在 RKS 模块中，一种马尔可夫链蒙特卡罗 (MCMC) 采样策略在核分布上迭代地生成随机核作为核先验，然后将其分配给 PKE 模块。PKE 模块用于根据 RKS 模块生成的核先验、观测到的 LR 输入和 IR 模型估计的 HR 图像来估计模糊核。然后将估计的模糊核分配给一个采用的 IR 模型，用于 HR 图像恢复。除了替代求解过程，RKS 模块中的 MCMC 过程收敛到一个关于 LR 观测和估计的 HR 图像的期望核分布，以保证合理的核先验。同时，提出了一种基于网络的朗之万动力学 (NLD) 范式，以优化 PKE 模块中的核估计器，该估计器基于 RKS 输出核先验和基于 LR 图像重建误差的数据一致性。RKS 模块实现了无监督的核先验学习。PKE 模块通过 NLD 更新方案实现了有希望的核估计，这在优化策略方面进一步缓解了非凸性和病态问题。通过这种方式，DKP 模型能够提供即插即用的核估计，无需事先在配对的 LR-HR 样本上进行训练，并且可以灵活地应用于现有的 IR 模型以解决 BSR 问题。

为了验证 DKP 模型的可行性和性能，提出了两个应用：深度图像先验 (DIP)和扩散模型作为 IR 模型，分别称为 DIP-DKP 和 Diff-DKP。对于 DIP-DKP，在交替求解过程中从头开始同时优化 DIP 和 DKP 模型的参数。对于 Diff-DKP，用作固定的 HR 图像恢复器。DKP 模型也是从头开始优化的。大量的仿真结果表明，DIP-DKP 实现了与现有方法相当的性能，而 Diff-DKP 在高斯和运动核场景中都实现了最先进的性能。

主要贡献总结如下：

• 提出了 RKS 模块，该模块通过对随机核分布进行 MCMC 采样来生成一个合理的核先验。这样，就实现了无监督的核先验学习，以替代预训练阶段。

• 在 PKE 模块中，提出了 NLD 来优化核估计器，从优化策略的角度确保了良好的收敛性和对模糊核的简洁估计。

• 提出的DKP模型易于在流行的IR模型上使用，无需针对不同场景进行预训练/再训练。两个应用，即DIP-DKP和Diff-DKP，验证了DKP模型的最新性能和优异的灵活性。

2背景

深度学习为解决盲超分辨率 (BSR) 问题提供了一条新途径，该问题旨在从具有未知模糊核的低分辨率 (LR) 观测中重建高分辨率 (HR) 图像，并且已知是高度非凸且不适定的。为了减轻非凸性和不适定性，大多数基于学习的 BSR 方法通过基于配对 LR-HR 样本的监督学习来整合图像先验。然而，预定义的标记训练数据集成本高昂、耗时，甚至在某些情况下不可行，因此，基于无监督学习的解决方案对于 BSR 问题是高度需要的。

现有的 BSR 方法根据采用的先验信息来提供性能保证，可以大致分为基于模型和基于学习的策略。基于模型的方法通常采用手工设计和显式约束作为图像属性的正则化，或模糊核的专家知识，基于学习的 BSR 方法旨在训练一个端到端的网络，利用配对的 LR-HR 图像样本，以利用数据先验来提升性能。然而，这些方法对数据要求很高，需要在应用之前进行彻底的预训练，导致其对不同模糊核的泛化能力有限。为了缓解这个问题，相当一部分方法通过一个经过良好训练的扩散模型来替代繁琐的预先训练，该模型在现成的模式下使用显著更少的微调样本，一些工作提议用核先验来代替高分辨率图像数据先验，核先验更强大、经济且训练效率更高。然而，这两种进步都依赖于监督学习方案，需要在标记数据集上进行训练，这仍然阻碍了其在不同内核和未知 HR 真值的情况下，对 BSR 任务的灵活性和泛化能力。

3. 动态内核先验 (DKP)

问题表述。BSR 问题的退化模型通常表示如下：

其中 y 表示 LR 图像，x 表示 HR 图像，⊗ 表示卷积操作，↓s 表示下采样操作，其缩放因子为 s，k 表示模糊核。BSR 问题 (1) 可以被表述为一个最大后验 (MAP) 问题：

其中，p(y|x, k) 表示观察到的 LR 图像 y 的似然，p(x) 和 p(k) 分别是 HR 图像和核先验。图像先验在过去十年中得到了很好的设计和充分的研究。相比之下，对核先验 p(k) 的研究正在上升，因为核样本获取成本较低，训练阶段效率更高。

本文提出DKP模型，该模型包含两个模块：RKS和PKE。RKS模块用于生成理性内核先验，这些先验被分配给PKE模块以支持模糊内核的估计。令t = 1, 2, · · · , T表示这两个模块和所采用IR模型之间的交替迭代，kt和xt分别表示第tth次迭代的估计模糊内核和HR图像。DKP 模型的详细信息如下。

RKS 模块。在 tth 次迭代中，RKS 模块在从 MCMC 模拟中生成理性内核先验 kpt 中起着关键作用。概述图如图 1 所示。令 p(kr|Σr) 表示随机内核 kr 受潜变量 Σr 条件约束，其中 p(Σr) 决定了模糊内核的类别。然后，核先验 kpt 的分布可以表示为

Σr 是核函数的参数（例如，高斯核的方差或运动核的长度）。很难对所有可能的 Σr 进行采样，因此将 (3) 式转换为以下形式的蒙特卡罗模拟：

其中 l 表示蒙特卡洛采样的索引，Σl r 表示 lth 采样的潜在变量，krl 是 lth 采样的核，以 Σl r 为条件。

为了确保随机生成的核函数对BSR问题的合理性，以及迭代过程中的优化，提出以下MCMC模拟：

其中 p(krl |xt−1, y) 表示内核权重 ωl，它以观察到的 LR 图像 y 和估计的 HR 图像 xt−1 为条件，并根据以下形式的 MCMC 损失 LMCMC 进行计算。

其中

δ 是为了防止 Ll MCMC = 0 的噪声。这样，kpt 可以被公式化为

然后将获得的 kpt 作为先验的合理核分配给 PKE 模块

注意到，获得的核先验 kpt 是 L 根据公式 (4) 进行采样的期望值。采样次数 L 在 MCMC 模拟中作为超参数发挥退火/调温的作用。

PKE 模块。在 DKP 模型中，PKE 模块被用来通过一个轻量级网络 Gk 来估计模糊核，该网络的参数 ϕk 如下所示：

网络 Gk 以随机初始化的固定噪声作为输入，为了演示方便，忽略它，因为 ϕt k 是主要变量。

该核估计器 Gk 在 NLD 范式中针对数据一致性项和核先验项进行了优化，如图 2 所示。数据一致性项由 LR 图像重建误差计算得出，其表达式为：

内核先验项基于网络估计的核 Gk(ϕt k−1) 与从 RKS 模块随机采样的核 kpt 之间的差异计算，如下所示：

将公式 (10) 和 (11) 结合起来，网络参数 ϕkt−1 可以按如下方式更新：

其中第二项是数据一致性更新，第三项是基于随机核 kpt 的额外更新。

已证明，基于随机噪声的扰动可以有效地防止变量更新在 Langevin 动力学中陷入不良局部模式。在这个阶段，来自 RKS 模块的随机核样本可以被视为 ϕt k−1 更新的随机“噪声”。等式 (12) 可以改写如下：

其中 ζϕt−k1 表示与参数相关的朗之万动力学扰动。

在 tth 次迭代中，DKP 管道如算法 1 所示。整个 DKP 模型采用即插即用式，无需预先训练。此外，RKS 模块中的随机核通过 MCMC 模拟自适应采样，无需标记训练数据。还应该注意到，DKP 模型在应用中只带来了可以忽略不计的运行时间和内存成本，因为所采用的网络 Gk 通常是轻量级的。这带来了很高的灵活性和低计算复杂度。这三个优点保证了DKP 可以方便地应用于现有的图像修复方法，包括未经训练的DIP模型和现成的预训练扩散模型

4. 基于DKP的BSR方法

4.1. 管道

基于DKP的BSR方法的概述如图3所示。DKP模型（灰色框）包括RKS模块（蓝色框）、PKE模块（淡紫色框）和IR模型（红色框），分别交替优化模糊核和细化HR图像。对于每次迭代，估计的 HR 图像 xt−1 和 LR 图像 y 首先被馈送到 RKS 模块 fRKS 以生成内核先验。

其中 xt−1 表示来自最后一个 IR 模型输出的估计 HR 图像。然后，内核先验 kpt 将被分配给 PKE 模块 fPKE，该模块估计内核如下，

其中 kt 是在 tth 核估计迭代中估计的核，它将被分配给 IR 模型。tth HR 图像 xt 可以通过 IR 模型估计如下：

其中fIR表示采用的IR模型。本文采用两种代表性的IR模型，DIP 和扩散模型，来评估基于DKP的BSR解决方案，分别称为DIP-DKP和Diff-DKP。

4.2. 提出的 DIP-DKP

基于DIP的图像恢复。DIP旨在捕获低级图像统计信息，并从固定随机噪声输入 zx 估计高分辨率图像 x = Gx(zx, ϕx)（为了演示方便，我们在本文的其余部分省略 zx）。基于DIP的BSR方法的典型公式如下所示

Double-DIP和 FKP-DIP已证明其在解决 BSR 问题上的有效性。然而，Gk(ϕ∗ k) 的核先验要么采用未经训练的网络，在核估计方面表现有限，要么采用预训练的核网络，即 FKP，需要提前进行监督训练。正如实验将要展示的，预训练网络在内核类别变化时无法很好地生成合理的内核估计。

提出的 DIP-DKP。用提出的 DKP 模型替换了现有基于 DIP 的替代框架中用于核先验的未训练或预训练网络，将其称为 DIP-DKP。提出的 DIPDKP 的目标可以表述如下：

其中 GDKP(ϕDKP) 是所提出的 DKP 模型的内核网络。

所提出的 DIPDKP 的整体求解过程在算法 2 中给出。在每次 tth 迭代中，在基于 DKP 的核估计阶段估计核 kt，然后将其分配给 DIP 模型以用于正向传播中的 HR 图像恢复。在反向传播中，通过无监督推理解决 BSR 问题时，更新 DIP 和 DKP 的参数，即 ϕx 和 ϕDKP。利用 DKP，DIP-DKP 实现了沿 BSR 目标函数收敛轨迹的自适应核学习，从而实现准确和动态的核估计。因此，无需事先进行昂贵的标注数据和长时间训练，DIP-DKP 可以以即插即用方式同时估计 HR 图像和模糊核。

4.3. Diff-DKP

原始 DDPM 推理过程。去噪扩散概率模型 (DDPM) 定义了一个 T 步前向过程来向数据添加噪声，以及一个 T 步反向过程来从噪声中恢复所需数据。当将现成的 DDPM Sθ 应用于解决图像恢复问题时，反向过程被实现为推理过程，以估计高质量图像，如下所示：

其中 x0|t 表示第 tth 步估计的 HR 图像 x0，αt 是超参数。为了确保 HR 图像 x0 ∼ q(x) 可以从随机噪声 xT ∼ N (0, I) 中重建，现有方法通常通过在 LR-HR 数据集上进行监督学习来重新训练或微调DDPM 模型，或提供真实内核来加入特定于任务的知识以保证收敛。然而，即使使用大量标记数据集进行训练，DDPM 的性能仍然不稳定。

提出的 Diff-DKP。DDPM 的不稳定性主要源于训练过程中涉及多个图像处理任务。在这种情况下，现成的扩散模型无法专注于 BSR 目标，从而导致图像失真和内容不匹配。为了缓解这个问题，提出的 Diff-DKP 在 vanilla DDPM 逆迭代的基础上，结合 DKP 模型来提供特定于任务的数据一致性知识。具体来说，在 (21) 和 (22) 之间插入了一个外部 DKP 结合的数据一致性细化 x0|t，由以下公式给出：

其中 γxt 是更新步骤，并且

这使得推理过程能够沿着数据一致的解收敛到正确方向。

Diff-DKP 算法的概述如算法 3 所示。令 t = T, T − 1, . . . , 1 表示扩散逆转步骤的索引。在每一步中，扩散模型首先估计 x0|t。然后，DKP 模型根据最新的 x0|t 自适应地生成核先验，而 x0|t 则根据数据一致性方程 (24) 进一步更新，从而确保推理过程符合 BSR 目标。值得注意的是，扩散模型的参数是固定的，在推理过程中仅优化轻量级核估计器网络的参数。

这样一来，现成的扩散模型就充当了 HR 图像估计器的角色，而估计的 HR 图像则通过 BSR 任务特定的先验知识进一步细化，参考公式 (23)。与通过监督重新训练/微调将 BSR 任务的先验知识整合到模型中的方法不同，Diff-DKP 采用了一种即插即用的方案，因此在实施之前无需数据需求和训练成本。

5实验

1）高斯核场景下Set5上DIP-DKP和Diff-DKP的平均图像PSNR性能

2）由s=4的随机高斯/运动核合成的公共数据集上不同方法的平均PSNR/SSIM

3）Set14上图像的平均PSNR/SSIM和核s=4的PSNR

4）不同方法在公共数据集上对比例因子4的可视化结果

更多「小小cv笔记」精彩内容，欢迎点击「阅读原文」

DKP:用于无监督盲图像超分辨率的动态核先验模型(CVPR2024)