论文题目

Continuous Optical Zooming: A Benchmark for Arbitrary-Scale Image Super-Resolution in Real World

1简介

目前大多数任意尺度图像超分辨率（SR）方法通常依赖于连续各种尺度下简单合成退化模型（例如双三次降采样）生成的模拟数据，因此在捕捉真实世界图像的复杂退化方面存在不足。这种限制阻碍了这些方法在应用于真实世界图像时的视觉质量。为了解决这一问题，提出了连续光学变焦数据集（COZ），通过构建一个自动成像系统，在特定范围内收集细粒度的各种焦距图像，并提供严格的图像对对齐。COZ数据集作为基准，为训练和测试任意尺度SR模型提供真实数据。为了增强模型对真实图像退化的鲁棒性，提出了一种基于MLP-mixer架构和元学习的局部混合隐式网络（Local Mix Implicit network， LMI），该网络通过同时混合多个独立点的特征和坐标来直接学习局部纹理信息。大量的实验表明，在COZ数据集上训练的任意尺度SR模型比在模拟数据上训练的模型具有更好的性能。与其他模型相比，LMI模型显示出优越的有效性。本研究对于开发更高效的算法，提高任意尺度图像SR方法在实际应用中的性能具有重要意义。

在计算机视觉领域，超分辨率 (SR) 已经成为一个重要的研究领域。其目标是从低分辨率 (LR) 图像重建高分辨率 (HR) 图像。近年来，在任意尺度图像 SR 方面取得了重大进展，主要基于学习图像的连续表示。这些方法通常需要使用特定范围内的连续细粒度尺度变化 LR-HR 图像对进行训练

将任意尺度图像超分辨率方法应用于实际应用中仍然存在问题。如图 1 所示，一个问题是，目前大多数方法都是在包括 DIV2K、Urban100、Manga109、Set5、Set14 和 BSD300在内的几个广泛使用的超分辨率数据集上进行训练和评估的。通常，这些数据集应用简单的合成退化模型来获得不同分辨率的数据。然而，尽管在模拟数据上获得了令人满意的结果，但现实世界中的图像退化更为复杂，导致在真实图像上视觉效果不佳。另一个问题是，最近提出了几个真实世界图像超分辨率数据集，包括 RealSR、City100、SR-RAW和 DRealSR。然而，这些数据集存在局限性，因为它们只捕获固定放大倍数的图像对（例如，[×]2，[×]3，[×]4），缺乏图像的连续表示。

鉴于问题，将它们概括为复杂的现实世界任意尺度图像超分辨率问题。现有方法无法学习现实世界图像的连续表示，导致超分辨率结果缺乏视觉自然度。如图 1 所示，为了解决这个问题并提高现有任意尺度图像超分辨率方法的性能，使其质量能够达到光学变焦的效果，引入了一个新的数据集——连续光学变焦数据集 (COZ)，作为第一个用于任意尺度图像超分辨率的真实世界数据集。设计并开发了一个连续光学变焦成像系统，其中光学镜头通过无线控制在特定焦距内以增量和均匀的方式旋转。从同一场景的低倍率到高倍率尺度上捕获多对连续图像。使用基于 SIFT 匹配点的两阶段图像对对齐算法，我们获得了精确对齐的真实世界 LR-HR 图像对。该数据集提供了各种放大比例的丰富真实世界图像对，用于训练任意尺度 SR 模型，从而能够学习真实世界场景中的连续图像退化。对比实验结果表明，在真实世界图像数据上训练的模型在应用于真实图像时，其性能优于在模拟数据上训练的模型。、

为了增强模型对现实世界复杂图像退化的鲁棒性，提出了一种基于MLP-mixer架构和元学习的任意尺度图像超分辨率方法，称为局部混合隐式网络 (LMI)。在现实世界中，纹理信息在空间中表现为多个坐标及其对应的RGB值。方法利用元学习来同时学习多个局部坐标信息并生成混合权重，这些权重应用于与不同坐标相关的特征，以进行有效的混合。这与之前每次只考虑一个坐标及其特征信息的方法有根本区别，后者容易受到复杂退化的干扰。实验结果表明，方法在学习真实图像的连续表示方面是有效的，并且需要更少的参数。

这项工作的主要贡献如下：

• 这是首个解决现实世界任意尺度图像超分辨率问题的研究。此外还构建了第一个用于此任务的数据集。它可以作为现实世界任意尺度图像超分辨率模型训练和测试的基准。

• 提出了一种局部混合隐式网络，该网络同时考虑多个独立的点坐标和特征，以混合方式学习空间纹理信息，从而增强对现实世界图像退化的鲁棒性。

• 进行了大量的实验，通过将结果与最先进方法产生的结果进行比较，来验证我们数据集和局部混合隐式网络的有效性。

2. 连续光学变焦数据集

提出一个名为连续光学变焦数据集 (COZ) 的基准数据集，用于任意尺度超分辨率方法学习真实世界的连续图像表示。构建了一个自动连续光学变焦成像系统来收集数据。该系统采用遥控传输设备，在预定义的焦距范围内逐步均匀地旋转镜头，并在每次旋转后捕获图像。该过程有助于获取同一场景特定焦距范围内具有细粒度焦距变化的多幅图像。随后应用改进的两阶段尺度不变特征变换 (SIFT) 算法来实现不同分辨率图像的精确对齐。将 COZ 数据集与其他 SR 数据集的比较结果如表 1 所示。

2.1. 基本设备

使用佳能 EOS R10 相机收集数据，该相机拥有 5328×4000 像素的分辨率。相机配备了光学变焦镜头，焦距范围为 18 毫米至 150 毫米。分别用 f、u 和 v 表示焦距、物体距离和像距，相机在 u ≫ f 和 v 的假设下运行。考虑到像距 v 决定了图像的实际大小，使用两个不同的焦距 f1 和 f2 以及相应的物体距离 v1 和 v2 来捕捉同一个物体。放大倍率，记为 M，可以表示如下：

较短的焦距往往会导致图像边缘出现畸变问题，因此选择不直接从 18mm 焦距开始拍摄图像。在训练数据收集过程中选择 35mm 到 140mm 的焦距范围来获取连续的光学变焦图像，涵盖从 ×1.0 到 ×4.0 的放大倍率，如公式 (1) 所示。对于测试数据，选择 25mm 到 150mm 的焦距范围来拍摄图像，放大倍率范围从 ×1.0 到 ×6.0。

2.2. 自动连续变焦系统

传统的透镜需要手动旋转才能实现变焦功能。频繁的物理接触会引起相机角度偏差，导致额外误差累积。开发了一种全自动连续变焦成像系统，如图 3 所示。首先，用镜头变焦环和传动带 (C) 之间的紧密耦合连接取代手动镜头变焦步骤。位于下方的一个精密电机 (B) 旋转皮带，从而推动镜头元件 (D) 向前移动以改变焦距。镜头变焦由精密电机控制，确保整个过程中的最大稳定性和精度。控制器接收来自智能手机的指令，自动完成拍摄过程。它首先指示电机在特定焦距范围内旋转镜头，以记录总行程距离。然后，它将此总距离划分为多个等间距的段，提示电机依次移动每个段的距离并拍摄照片。

2.3. 图像对齐

图像采集过程中镜头变焦导致的亮度和分辨率变化，会对广泛使用的图像对齐算法（如ORB、SURF和 SIFT）构成挑战。为了解决这个问题，提出了一种两阶段 SIFT 算法。首先在第一阶段调整亮度。从 LR 和 HR 图像中收集 SIFT 匹配点。无论分辨率如何，保持一致数量的 SIFT 匹配点，可以实现更精确的亮度调整。分别计算 LR 和 HR 图像中 SIFT 匹配点的 RGB 标准差和平均值，分别为 σH、σL、µH 和 µL。使用 LR 图像 (IL)，亮度调整公式应用如下：

在 LR 图像进行亮度调整后，重新应用 SIFT 以裁剪图像对的对应区域。由于捕获过程中引入的误差极小，并且亮度差异已调整，因此对齐结果表现出精度。图 2 展示了 COZ 数据集中捕获的图像和对齐结果的示例。该图展示了一个焦距范围为 35mm-140mm 的场景，其中从总共 60 张捕获的图像及其对应的对齐图像对中均匀采样了 11 张图像。每张图像的放大比例相对于最低分辨率图像的放大比例进行了标注。

2.4. COZ 数据集详情

COZ 数据集的训练集包含 153 个场景，共计 9,019 张图像。测试数据集包含 37 个场景。由于当前任意尺度图像超分辨率方法通常在特定固定放大倍率下进行评估，因此专门选择了放大倍率最接近特定尺度（×2.0，×2.5，×3.0，×3.5，×4.0，×5.0，×5.5，×6.0）的图像作为测试数据。在场景采集期间的重点是确保多样性，通过捕捉室内和室外生活场景中具有丰富纹理的物体来实现。排除了包含移动物体的场景。由于采集限制，一小部分数据的最大放大比例低于×4.0（最小值为×3.6）。在拍摄过程中均匀旋转镜头时，对应于焦距变化的放大倍率变化并非真正均匀，导致高分辨率图像数量比低分辨率图像少。训练集中所有图像的放大倍率分布如图 4 所示。

3. 方法

任意尺度图像超分辨率方法通常采用一种以构建隐函数来学习连续图像表示为中心的方案。将连续图像表示为 I，其中坐标为 x。低分辨率图像通过常用的编码器，例如 EDSR和 RDN，提取潜在编码 Z，这些编码随后用于构建解码隐函数 f。SR 预测的表达式通常遵循以下形式：

对于特定的查询点xq，假设V ∗是与xq最近的坐标，Z∗是对应于V ∗的潜在代码，则xq的RGB预测公式可以表述为：

这些方法通常侧重于单个坐标及其对应的潜在代码，而忽略了它们之间的关系。当应用于通过简单的线性合成降级模型生成的模拟数据时，它们表现出熟练程度，因为编码器能够熟练地将局部区域信息编码到潜在代码中。然而，现实世界中的图像退化更为复杂，不足的参考信息，例如一个坐标和潜在代码，很容易导致不稳定的结果。

在构建真实世界纹理信息的情况下，纹理通过多个坐标在空间上表现出来，每个坐标都有其对应的 RGB 值。因此，同时考虑局部区域内的多个坐标及其对应的特征，提供了一种直接捕获纹理信息的方法。

3.1. 局部混合隐式网络

本研究介绍了局部混合隐式网络 (LMI)，这是一种先进的模型结构，如图 5 所示。LMI 基于 mlp-mixer架构，旨在通过同时混合多个坐标及其对应的潜在代码来熟练地学习复杂的纹理信息。从局部区域提取大量潜在代码开始，每个代码都被视为一个保留其坐标的标记。这些标记共同构成基础空间信息。LMI 包含两个阶段的混合模块，如图 5 (a) 和 (b) 所示。

基于元学习网络构建的元空间混合模块 (MSMM) 将多个坐标信息转换为混合权重，以指导潜在代码的混合，从而促进对空间纹理细节的捕获。查询混合模块 (QMM) 专注于潜在代码内部的混合，将原始 RGB 值和坐标嵌入到相应的标记中作为查询。在最后一步，将从每个词元预测的结果进行集成，以增强整体鲁棒性。

3.2. 局部令牌展开

为了获取足够的纹理捕捉空间信息，提取了与查询点 xq 最近的 4×4 区域的潜在代码，并将其表示为 {Zi∗}，其中 1 ≤ i ≤ 16。保持潜在代码的独立性，将每个代码视为一个独立的标记。这些标记经过一个解压缩操作，并在扩展维度上进行连接。令 Λ 代表连接操作。将这些局部标记表示为 LT (xq)，并定义如下：

为了适当地学习本地区域信息，使用相对坐标。每个token的坐标被定义为{Vi∗}，其中1 ≤ i ≤ 16，每个token相对于查询坐标xq的相对坐标被定义为{Ci}，其中1 ≤ i ≤ 16。Ci被定义为：

3.3. 元空间混合模块

为了从多个局部标记中提取空间纹理信息，引入了标记之间的混合操作。使用多层感知机 (MLP) 进行标记混合和交互，如图 5 (c) 所示。将 LT (xq) 转置，通过 MLP 进行混合，然后将结果转置回来。令 M LPs 表示用于空间混合的 MLP，混合后的局部 token LT M (xq) 定义为：

如果直接对标记进行混合操作，虽然增强了每个标记的信息，但会忽略标记之间的局部空间关系。为了解决这个问题，采用了一种简单的方法，将每个相对坐标 Ci 与转置后的标记连接起来，然后进行混合。将坐标重复和扩展以匹配转置后的标记的形状，并将它们与转置后的标记连接起来。令 E 为扩展操作，则等式 (7) 可以改进为：

混合网络同时学习坐标信息和混合令牌，降低了网络效率。在图 5 (a) 中，采用元学习方法，使用独立网络学习空间坐标信息，并构建与所有令牌形状相同的空间混合权重。将混合权重表示为 W，并通过多个全连接层计算它。权重计算网络表示为 ω，引入了一个比例因子 r 来提高空间信息学习的准确性。权重的表达式如下：

然后将混合权重 W 与 LT (xq) 连接起来，并输入到混合网络 M LPs 中，使网络能够专注于令牌之间的混合并获取足够的局部空间纹理信息。LT M (xq) 的最终表达式定义为：

3.4. 查询混合模块

在空间混合之后，每个token获取局部纹理信息，增强其提供改进指导的能力，用于预测xq的RGB值。在这个阶段加入坐标信息Ci用于解码。鉴于SR涉及从一个图像到另一个图像的任务转换，图像中的原始RGB信息与预测的RGB值之间存在很强的相关性。由于每个token直接对应于图像坐标，引入原始图像“残差连接”的修改形式，并将输入图像中对应坐标Vi∗的RGB值嵌入到token信息中，以补充token信息。将用于查询混合的MLP表示为M LPq，坐标Vi∗的RGB值表示为Ri∗，查询混合后的token表示为LT Q(xq)。它的表达式如下：

3.5. 集成

经过两阶段混合后，查询混合标记 LT Q(xq) 被输入到一个全连接层以进行输出。由于通过标记混合吸收了空间纹理信息，每个标记都包含了对准确预测 xq 值的宝贵指导。类似于 LIIF 的局部集成方法，通过直接集成每个 token 的输出，并使用相对于 xq 和 Vi∗ 之间矩形区域计算的权重来计算坐标 xq 处的 RGB 值。

4实验

1）COZ测试集上任意尺度图像SR的最新方法的定量比较

2）通过不同HR图像选择方法训练的方法对COZ测试集进行定量比较（PSNR（dB））

3）COZ测试集上的定量比较（PSNR（dB）/SSIM）与在双三次下采样（BD）和真实退化生成的不同数据集上训练的方法

4）通过不同方法在我们的COZ测试集上显示视觉SR结果

5）不同方法的视觉SR结果

更多「小小cv笔记」精彩内容，欢迎点击「https://mp.weixin.qq.com/s/l_fzWNZD6OVq1J_caPYYXQ」阅读原文

连续光学变焦：现实世界中任意尺度图像超分辨率的基准(CVPR2024)