论文题目

Efficient and Degradation-Adaptive Network for

Real-World Image Super-Resolution

1、简介

由于现实世界图像未知的复杂退化以及实际应用中有限的计算资源，高效且有效的真实世界图像超分辨率（RealISR）是一项具有挑战性的任务。最近关于RealISR的研究通过对图像退化空间建模取得了重大进展；然而，这些方法在很大程度上依赖于沉重的骨干网络，并且它们在处理不同退化程度的图像时缺乏灵活性。本文提出了一种高效且有效的退化自适应超分辨率 (DASR) 网络，其参数通过估计每个输入图像的退化情况自适应地指定。具体来说，采用一个小型回归网络来预测输入图像的退化参数，同时多个具有相同拓扑结构的卷积专家被联合优化，以通过专家非线性混合的方式指定网络参数。多个专家和退化自适应管道的联合优化显著扩展了模型处理不同程度退化的能力，而推理仍然高效，因为只使用一个自适应指定的网络对输入图像进行超分辨率处理。广泛的实验表明，DASR 不仅在处理具有不同退化程度的真实世界图像方面比现有方法更有效，而且便于部署。

为了解决上述问题，本文提出了一种退化自适应超分辨率 (DASR) 网络，其参数根据输入图像的退化程度自适应地指定。DASR 包含一个微小的回归网络，用于估计输入图像的退化参数，以及多个轻量级超分辨率专家，这些专家在平衡的退化空间上联合优化。对于每个输入图像，通过专家非线性混合构建一个自适应网络，其自适应权重因子由估计的退化参数指定。多个超分辨率专家和退化感知混合显著提高了模型处理不同退化图像的能力。与此同时，DASR 的整个流程在效率上远超现有方法，满足了实时图像超分辨率任务的需求，因为在推理过程中仅使用一个自适应网络来超分辨率图像，并且混合专家的成本可以忽略不计。

本文的贡献有两方面。首先，提出了一种降级自适应超分辨率网络，该网络显著提高了模型对不同降级程度图像进行超分辨率的能力。其次DASR网络的流程比现有方法效率更高，为实际应用中的真实图像超分辨率提供了一个良好的解决方案。大量的实验验证了所提方法的有效性和效率。

2、背景

单图像超分辨率 (SISR) 是低级视觉领域的一个活跃研究课题，旨在重建退化低分辨率 (LR) 图像的高分辨率 (HR) 版本。自 SRCNN的开创性工作以来，其中大多数假设从 HR 到 LR 图像的预定义降质过程。尽管取得了巨大成功，但这些非盲 SISR 方法在面对真实图像时，其性能会大幅下降，因为训练数据和真实测试数据之间的退化模型不匹配。

盲图像超分辨率 (BISR) 方法用于解决非盲 SISR 方法的问题，通过考虑从真实世界图像中提取的更复杂的退化核。然而，这些方法的退化空间实际上被限制在一组预先收集的核中。对于真实世界图像，其退化空间可能更大，包括比 DPED 核池更多类型和更复杂的核，更复杂和更强的噪声，以及其他退化操作，因此，许多最近的研究都集中在真实世界图像超分辨率 (Real-ISR) 任务上，通过对真实世界图像的复杂退化过程进行建模和合成，它们引入了包括模糊、噪声、下采样和 JPEG 压缩在内的综合退化操作，并通过随机采样各自的超参数来控制每个操作的严重程度。随机退化顺序的随机洗牌和二阶退化也分别被用来更好地模拟现实世界中的复杂退化。

尽管Real-ESRGAN在提升图像感知质量方面取得了显著进展，但它们在实际应用中仍存在一些局限性。一方面，它们基本上是针对严重退化的 LR 图像设计的。虽然 BSRGAN 和 Real-ESRGAN 可以对一些困难的 LR 图像生成一定程度的细节，但它们难以对轻微退化的 LR 输入生成精细细节。另一方面，BSRGAN和Real-ESRGAN方法依赖于重量级的骨干网络（，这使得它们难以部署在计算资源有限的设备上。同时，预计将开发高效的实时图像超分辨率模型，以满足高效率的需求。

3、方法

如图1所示，DASR主要由一个退化预测网络和一个具有多个专家的基于CNN的SR网络组成。对于每个卷积层 C，N 个专家的参数 WiC 根据 a 中的加权因子进行混合。输入 x 通过自适应网络 EA 超分辨率为 yˆ。

3.1 退化自适应超分辨率

退化预测网络。为了实现高效且自适应降解的超分辨率，提出通过回归网络P估计每个输入x的降解参数v ∈ R^1×n，即vˆ = P(x)，其中vˆ表示v的估计值。使用一组参数v来详细描述降解空间。为了提高估计过程的效率，设计了一个轻量级网络 P 来预测 v，P 由 6 个带 Leaky ReLU 激活的卷积层组成，后面跟着一个全局平均池化层。首先使用卷积层提取图像空间退化特征，然后使用全局平均池化层估计退化参数。

为了优化网络 P，使用 ℓ1-norm 距离在估计的退化参数 vˆ 和真实值 v 之间引入回归损失，如下所示：

根据退化模型，v 中的每个参数都被随机采样以指定退化过程，从而生成 LR-HR 图像对。

图像超分辨率网络。理想的真实场景超分辨率 (Real-ISR) 方法应该既有效又高效。一方面，在现实世界的超分辨率任务中，计算资源通常有限，特别是对于边缘设备，模型应该能够有效地处理各种退化类型的图像。然而，大多数现有的超分辨率方法只能在效率和有效性之间进行权衡，并且在处理不同退化类型和程度的图像时缺乏灵活性。

为了开发一个有效且高效的实时图像超分辨率 (Real-ISR) 模型，提出了一种退化自适应超分辨率网络，通过非线性专家混合 (MoE) 来提升模型容量，其在推理过程中的额外成本可以忽略不计，使用 N 个卷积专家，表示为 E = [E1, E2, · · · , EN ]，其中每个专家 Ei 是一个轻量级超分辨率网络，具有独立的参数 ΦEi。所有 Ei 共享相同的网络拓扑，并且在相同损失的监督下进行联合优化。想法是隐式地训练每个专家来处理降级空间子空间中的图像，以便它们可以协同工作来处理整个空间中各种降级类型的图像。

然后计算一个适应输入x退化的加权因子向量 a ∈ R^1×N，以自适应地混合N 个专家。通过一个包含两个全连接层的微型网络A，根据估计的 vˆ 计算a，即 a = A(vˆ)。由于 vˆ 和 a 的维度都很低，因此网络 A 的效率很高，如果将 a 限制为独热向量，则只有一个专家会被激活来对输入 x 进行超分辨率处理，这将使框架退化为竞争性的 MoE，它可能在样本分布空间可以被清晰边界划分的任务中表现良好，但对于具有较大且连续退化空间的 Real-ISR 任务，它很难很好地工作。

利用多个专家 E 及其自适应权重因子 a，以非线性方式自适应地混合专家。对于目标网络的每个卷积层 C，采用动态卷积技术来参数化卷积核，如下所示：

其中 finput 和 foutput 表示输入和输出特征，ai 表示 a 的 ith 值，WiC 表示专家 Ei 的第 C 层参数，σ 是激活函数，自适应地融合了所有专家每一层的参数，从而得到一个自适应网络，记为 EA。

DASR 非常高效。对于每个卷积层，模型在推理阶段只部署一个自适应网络 EA，而不是像经典的 MoE 方法中那样部署 N 个模型。退化预测网络 P 和加权模块 A 也非常轻量级。因此，推理成本与单个专家网络的成本同阶。混合操作带来的计算开销可以忽略不计，混合过程包括对N个专家的参数进行乘法和加法运算。对于像 SRResNet 或 EDSR-M 这样的轻量级主干网络，每个专家的参数数量只有 1.52M，并且它们与输入图像的大小无关。因此，与多个特征图的计算相比，参数混合的复杂度低几个数量级，因此可以忽略不计。

3.2 退化模型

由于对齐问题，高质量的真实世界 LR-HR 对难以收集，因此退化建模对于从给定的 HR 图像 y 中合成真实世界 LR 输入 x 以进行 Real-ISR 模型训练非常重要。应该预先定义一个退化空间，用 S 表示，以合成训练对并执行退化自适应优化。LR 样本 x 在 S 中的质量由降级参数向量 v = [v1, v2, · · · , vn] 控制，其中 vi 指定降级操作的类型或严重程度，而 n 表示降级参数的数量。在DASR 中，v 也用作训练退化预测网络的真实值。在建模中采用了模糊（各向同性和各向异性高斯模糊）、调整大小（使用区域、双线性、双三次操作进行下采样和上采样）、噪声污染（加性高斯噪声和泊松噪声）以及 JPEG 压缩等退化操作。在 v 中，使用独热编码来量化退化操作类型，并使用单个值来记录归一化到其各自动态范围的退化级别，与通过核系数量化模糊核的方法不同，通过核大小s、两个主轴的标准差σ1, σ2和旋转度θ来量化模糊退化。这样，退化参数更易于解释，可以明确退化类型和程度，并能更好地支持退化感知专家混合。同时，参数向量[s, σ1, σ2, θ]只有4维，而核向量k将具有更高的维数来估计。得益于降级空间的可解释性和紧凑性，DASR 允许在推理过程中对降级参数进行显式用户控制。这可以促进许多用户交互式应用程序来定制所需的超分辨率效果。

尽管 BSRGAN中的随机降质方法和 Real-ESRGAN中的二阶降质流程可以生成足够大的降质空间，但它们很难训练出一个能够自适应地处理不同降质程度图像的模型。DASR 被设计为适应各种现实世界输入，并具有多个轻量级专家网络，每个网络预计处理不同退化程度的图像子空间。因此，根据参数 v 将整个退化空间 S 分成 3 个级别 [S1, S2, S3]。其中，S1 和 S2 分别通过具有较小和较大参数范围的一阶降解生成，而 S3 则是通过二阶降解生成的。

DASR网络的可学习模块包括[E, P, A]。Lregression损失用于优化P以预测退化参数。为了优化整个框架，采用了L1-norm像素级损失Lpixel、感知损失Lperceptual和对抗损失Ladversarial。总损失定义如下：

其中 λ1, λ2 和 λ3 表示平衡参数。

4、实验

1）不同方法在不同退化数据集上的定量比较

2）在提出的退化空间和效率比较上，对不同的骨干网进行了再训练的定量比较

3）不同退化图像上竞争方法的定性比较

DASR:真实世界图像超分辨率的高效降级自适应网络(ECCV2022)