论文题目

Learning the Degradation Distribution for Blind Image Super-Resolution

1、简介

合成高分辨率 (HR) 和低分辨率 (LR) 图像对在现有的超分辨率 (SR) 方法中广泛使用。为了避免合成图像和测试图像之间的域差距，大多数先前的方法试图通过确定性模型自适应地学习合成（降级）过程。然而现实场景中的一些降级是随机的，无法通过图像内容确定。这些确定性模型可能无法模拟退化的随机因素和内容无关部分，这将限制后续 SR 模型的性能。本文提出了一种概率退化模型 (PDM)，该模型将退化 D 视为随机变量，并通过对先验随机变量 z 到 D 的映射进行建模来学习其分布。与之前的确定性退化模型相比，PDM 可以模拟更多样的退化，并生成可能更好地覆盖测试图像各种退化的 HR-LR 对，从而防止 SR 模型过度拟合特定退化。大量实验表明，本文的退化模型可以帮助超分辨率模型在不同数据集上取得更好的性能。

本文提出了一种概率退化模型 (PDM)，该模型可以学习盲图像超分辨率的退化分布，将退化参数化为两个随机变量，即模糊核 k 和随机噪声 n，通过将退化过程公式化为线性函数，D的分布可以表示为k和n的联合分布，可以通过学习从先验随机变量z到k和n 的映射来建模，PDM 在对抗框架中进行训练，D 的分布可以在训练过程中自动学习。通过这种方式，PDM 可以对退化中的随机因素进行建模，并更好地将退化与图像内容分离，这在实际场景中可能是一种更实用的近似，PDM 可能更容易覆盖所有测试图像的多样化退化，并防止 SR 模型过度拟合特定图像。PDM 可以作为数据生成器，并轻松地与现有的 SR 模型集成，以帮助它们提高在应用中的性能。

贡献可概括如下：

1、第一个将盲SR中的退化视为随机变量并尝试通过概率模型学习其分布的研究。这使我们能够模拟更多样的退化，并合成更接近测试图像域的训练样本。

2. 提出了一种概率退化模型 (PDM)，该模型可以对退化中的随机因素进行建模，并更好地将退化与图像内容解耦，这可能使学习盲 SR 的退化分布变得更容易。

3. 仔细地重新实现和研究了不同的基于退化学习的超分辨率方法，并提供了全面的比较。

4. 基于概率退化模型，进一步提出了一种用于盲超分辨率的统一框架，该框架在主流基准数据集上取得了最先进的性能。

2、背景

图像超分辨率 (SR) 旨在从低分辨率 (LR) 版本恢复高分辨率 (HR) 图像，基于学习的 SR 方法通常需要成对的 HR-LR 样本作为训练数据集，在实际场景中很难获得这样的成对样本。作为替代方案，合成 HR-LR 对在大多数现有的 SR 方法中广泛使用。其中一些方法通过使用预定义设置对 HR 图像进行降质来合成数据，与提供的模糊核卷积，或在一定范围内添加噪声。但在盲 SR 中，由于测试图像的降质情况未知，预定义的降质设置很可能与测试图像的降质情况不同。这种差距将在很大程度上破坏这些方法在实际场景中的性能。

为了避免域差距，一些工作尝试自适应地学习退化设置。如图 1 所示，退化模型通过对抗训练进行监督，并鼓励其生成与测试图像相同领域的 LR 图像。这些学习到的退化模型可以生成与测试用例差距更小的 HR-LR 对，因此可以用来训练更好的 SR 模型。然而大多数基于退化学习的超分辨率方法都存在一个共同的缺陷：它们的退化模型是确定性的，每个高分辨率图像只能被退化到一个特定的低分辨率图像。这意味着一个假设：退化完全依赖于图像的内容，这在大多数情况下可能并不成立。一些退化与内容无关且是随机的，这些随机因素和退化的与内容无关的部分无法通过这些确定性模型很好地建模。一个更好的假设是退化服从一个分布，这可以通过概率模型更好地建模。

3、方法

退化过程包含两个线性步骤

其中 yclean 是模糊、降尺度和干净的无噪声图像，这两个步骤是相互独立的，因为模糊核主要取决于相机镜头的特性，而噪声主要与传感器的特性有关，退化分布可以建模为：

k 和 n 的分布可以独立建模，以表示 D 的分布

3.1 模糊核

为了模拟模糊核 k 的分布，定义了一个先验随机变量 zk，它服从多维正态分布，使用一个生成模块来学习从 zk 到 k 的映射：

考虑空间变异模糊核，即x的每个像素的模糊核不同。在这种情况下有

其中 fk 是正态分布 zk 的维度，k 是模糊核的大小，h 和 w 分别是 x 的高度和宽度，在最后添加一个 Softmax 层以确保 k 中所有元素的总和为 1。通常，netK 中卷积权重的尺寸设置为 3 × 3，这表明学习到的模糊核在空间上是相关的。否则如果所有卷积权重的空间尺寸设置为 1 × 1，则每个像素的模糊核是独立学习的。

模糊核的空间方差通常是由镜头畸变引起的，主要出现在图像的角落。在大多数情况下，模糊核可以用空间不变的模糊核来近似，它是空间变异模糊核的一种特殊情况，其中 h = w = 1有：

3.2. 噪声模块

降解的第二步是在模糊和下采样的图像 yclean 上添加噪声。大多数先前的降解模型只考虑 AWGN（加性白高斯噪声），这些噪声与 yclean的内容无关。在这种情况下，n 的分布也可以用一个普通的生成模块来表示：

其中 netN 是一个卷积神经网络。用 h、w 和 c 分别表示 y 的高度、宽度和通道数

其中 fn 是正态分布 zn 的维度。

在其他方法中，原始空间 nraw 中的噪声被建模为散粒噪声和读出噪声的组合。并且 nraw 可以用异方差高斯分布近似：

其中 σread 和 σshot 由相机传感器的模拟和数字增益决定。由于 n 源于 nraw，表明 n 也与图像内容相关，n 的分布应由条件生成模块表示：

因此可以调整netN中卷积权重的尺寸，以确定噪声是否空间相关。

3.3. 概率退化模型

模糊核和噪声模块共同构成了概率退化模型 (PDM)，如图 2 所示。PDM 可用于合成 HR-LR 对：

其中 xref 是参考 HR 图像，而 {xref , yref } 构成 SR 模型的配对训练样本。

PDM 通过对抗训练进行优化，这鼓励 yref 与测试图像 ytest 相似。此外，假设噪声 n 的均值为零。因此，除了对抗损失 ladv 之外，还添加了一个关于噪声 n 的额外正则化项：

退化模型的总损失函数为：

其中 λ 是正则化项的权重。在所有的实验中设置 λ = 100 来平衡两种损失的大小。

与之前的退化模型相比，PDM 具有三个优点：

首先，PDM能够模拟更多样的退化。它允许一张HR图像退化为多张LR图像。因此，在相同数量的HR图像下，PDM可以生成更多样的LR图像，并为SR模型提供更多训练样本，这可能更好地覆盖测试图像的退化，PDM可以弥合训练集和测试集之间的差距，并帮助SR模型在测试图像上表现更好。

其次，关于退化的先验知识可以很容易地整合到PDM中，这可能会鼓励它更好地学习退化，如果观察到单个图像中的模糊几乎是均匀的，那么可以调整zk和k的形状，以仅学习空间不变的模糊核。这种先验知识有助于减少PDM的学习空间，并可能使训练更容易。

最终，PDM 将退化过程公式化为线性函数，而学习到的降级只能对图像内容产生有限的影响。这样，它更好地将降级与图像内容解耦，并能够专注于学习降级。在大多数以前的方法中，为了确保yref与xref的内容一致，通常会通过xref的三次双线性降尺度版本进行引导[4, 40]。然而，这种引导方式可能不合适，尤其是在测试图像严重模糊的情况下。相反，在我们的 PDM 中，由于约束良好的模糊核和噪声，yref 的内容与 xref 本质上是一致的。因此，PDM 可以避免额外指导的限制，专注于学习退化。

3.4. 盲超分辨率的统一框架

以前的退化模型和超分辨率模型的训练是分开的，即首先训练一个退化模型，然后利用训练好的退化模型来帮助训练超分辨率模型。这种两步训练方法虽然耗时，但对于他们的方法来说是必要的，因为他们高度非线性的退化模型在训练初期会产生不可取的结果，这可能会误导超分辨率模型的优化。本文大的PDM约束更好且更容易训练，因此同时训练PDM和SR模型效果良好，PDM可以与任何SR模型集成，形成一个用于盲SR的统一框架，称为PDM-SR（如果在SR模型的训练中也采用了对抗损失和感知损失，则称为PDM-SRGAN）。

4实验

1）不同方法之间的比较

2）图像视觉比较

3）不同方法之间的比较

4）生成的LR图像和模糊核

PDM-SR:盲图像超分辨率的退化分布学习(CVPR2022)