论文题目

Single Frame Atmospheric Turbulence Mitigation: A Benchmark Study and A New Physics-Inspired Transformer Model

1简介

针对大气湍流的图像复原算法的设计比传统的模糊或噪声复原算法更具挑战性，因为湍流引起的失真是空间变化的模糊、几何失真和传感器噪声的混合。现有的基于卷积神经网络的复原方法依赖于具有静态权重的卷积核，不足以处理空间动态的大气湍流效应。为了解决这个问题，本文提出了一种受物理启发的用于大气湍流成像的Transformer模型。该模型利用Transformer模块的强大功能，共同提取动态湍流畸变图并恢复无湍流图像。此外，认识到缺乏综合数据集，收集并展示了两个新的真实世界湍流数据集，这些数据集允许使用经典客观指标（例如，PSNR 和 SSIM）和使用文本识别准确率的新任务驱动指标进行评估。

本文做出以下三点贡献：

1）提出了一种基于深度学习的图像复原算法在穿过大气湍流时的全面基准评估。调整了一个复杂的物理基础模拟器来生成一个大型数据集，涵盖各种大气湍流效应。高度逼真且多样化的数据集导致了当前湍流缓解算法的不足。

2.）认识到现有算法的局限性，提出了一种新的物理启发湍流恢复模型，称为 TurbNet。TurbNet 基于 Transformer 主干，采用模块化设计，旨在模拟湍流效应的空间自适应性和长程动力学，并采用自监督一致性损失。

3. ）提出了多种评估方案，并收集了两个大规模的真实世界湍流测试数据集，一个使用热室进行经典客观评估（例如，PSNR 和 SSIM），另一个使用真实的远距离相机进行光学文本识别作为语义“代理”任务。

2背景

在长距离成像系统中，大气湍流是造成像素几何位移和模糊的主要失真来源之一。如果未经处理，失真图像会对所有下游计算机视觉任务（例如检测、跟踪和生物识别应用）产生重大影响。与常见的图像退化（例如反卷积）相比，大气湍流的影响在建模和缓解方面要困难得多，因为湍流是像素位移、模糊和噪声的交织。因此，专门的图像恢复流程是远程计算机视觉问题的必要组成部分。

用于减轻大气湍流影响的图像处理算法已经研究了几十年。然而，其中许多算法存在限制，使其无法应用于实际系统：1) 许多现有算法基于幸运成像原理，需要多个输入帧。这些方法通常有一个强烈的假设，即相机和移动物体都是静止的，这在许多实际应用中很容易失效。2) 传统算法通常计算量大，不适合处理大规模数据集，无法满足最新计算机视觉系统的需求。3) 现有的深度学习解决方案没有利用湍流的物理特性。其中许多也针对恢复人脸而不是通用场景。因此，泛化性是一个问题。4) 由于缺乏广泛接受的真实大规模基准数据集，算法可能无法得到适当的评估。

3 恢复模型

3.1 问题设定与动机

考虑一个在物体平面上传播的清晰图像 I，它穿过湍流到达图像平面。遵循经典的分步波传播方程，最终的图像通过一系列相位域操作构建：

其中，“菲涅耳”代表菲涅耳衍射造成的波传播步骤，“科尔莫哥洛夫”代表科尔莫哥洛夫功率谱密度造成的相位畸变。

公式 1 可以作为前向方程（即用于模拟）实现，但几乎不可能用于解决逆问题。为了减轻这种建模难度，一种计算效率高的方法是将湍流近似为两个过程的组合：

其中 H 是一个表示空间变化模糊的卷积矩阵，G 是一个表示几何像素位移（称为倾斜）的映射。变量 N 表示用简化模型逼近公式 1 时产生的加性噪声/模型残差。运算“◦”表示函数复合。也就是说，首先将 G 应用于 I，然后将 H 应用于所得图像。

公式 2 只是一个数学上方便的方法来推导出逆问题的近似解，但它不是真实模型。松弛性在于 G 中跨视场的像素位移是相关的，H 中的模糊也是如此。公式2中同时存在H和G使得问题变得困难。如果只有H，问题就变成了简单的去模糊。如果只有G，问题就变成了简单的几何解缠。通用深度学习模型采用基于传统卷积神经网络（CNN）的网络架构来解决经典的恢复问题，而这些网络架构是针对一种类型的失真而开发的。有效的模型将问题视为

其中 T = G ◦ H 是整体湍流算子。在不深入研究 T 的构造方式的情况下，现有方法直接通过向通用恢复网络提供噪声-干净训练对来训练该网络。由于此通用程序中没有涉及物理学，因此泛化性通常较差。

与以往方法不同，本文提出了一种联合估计湍流物理退化模型T和从退化输入eI重建干净图像的方法。这种公式明确地迫使模型专注于学习一个与图像内容无关的通用湍流退化算子，以及重建操作以生成干净的输出。此外，网络训练由高质量、大规模、物理驱动的合成训练数据辅助，以更好地学习大气湍流效应的关键特征。

3.2 模型架构

湍流和 CNN 的局限性： CNN 已成为大多数先前图像恢复算法的事实上的选择，但它们受到两个主要问题的限制：1) 卷积滤波器由于其静态权重，在推理过程中无法适应图像内容。2) 局部感受野无法模拟长距离像素依赖关系。大气湍流效应的一个关键特征是“幸运效应”，这意味着由于失真在空间上变化，图像区域或帧将随机出现较少的退化。以往的恢复方法将湍流恢复视为使用 CNN 的回归问题，但忽略了湍流高度依赖于位置的特性，不应将其表示为应用于所有位置的静态固定核。不难看出，将静态权重卷积应用于具有显著不同失真的区域会导致次优性能。

自注意力机制可以成为一种强大的替代方案，因为它可以通过聚合图像区域的信息来捕获依赖于上下文的全局交互。利用多头自注意力的能力提出了 TurbNet，一个基于 Transformer 的端到端网络，用于恢复湍流退化的图像。基于 Transformer 的架构允许使用键、查询和权重来创建输入自适应和位置自适应的滤波效果，其中键和查询决定内容自适应性，而权重带来位置自适应性。设计如图 1 所示，由几个关键构建块组成：

Transformer 主干网络：提出的网络包含一个基于 Transformer 的主干网络，它能够灵活地构建输入自适应和位置自适应的独特内核，以模拟空间和实例变化的湍流效应。受各种常见图像恢复任务（例如，去噪、去模糊等）中取得成功的启发，TurbNet 采用 U 形编码器-解码器架构，因为它具有分层多尺度表示，同时保持计算效率。如图 1 (b) 所示，编码器-解码器之间的残差连接提供了恒等的连接，便于不同层特征的聚合。主干网络包含三个模块：输入投影、深度编码器和解码器模块。输入项目模块使用卷积层提取低频信息，并在早期阶段引入卷积归纳偏差，从而提高了Transformer块的表征学习能力。深度编码器和解码器模块主要由基于多头通道注意力 (MHCA) 的Transformer层的级联序列组成。与流行的基于CNN的湍流缓解模型相比，该设计允许图像内容和注意力权重之间基于内容的交互，这可以解释为空间变化的卷积。

将传统Transformer块应用于图像恢复任务的主要挑战来自关键查询点积交互的二次增长，即对于W×H像素的图像，O(W 2H2)。为了缓解这个问题，采用了一种跨通道而不是空间维度应用自注意力的想法，并计算跨通道的互协方差生成注意力图。给定查询 (Q)、键 (K) 和值 (V)，重塑 Q 和 K，使得它们的点积生成一个转置注意力图 A ∈ R^C×C，而不是传统的 RHW ×HW ，MHCA 可以概括为：

其中 X′ 和 X 是输入和输出特征图，Wp(·) 是 1 × 1 点卷积，α 是一个可学习的缩放参数，用于控制应用 softmax 之前 (K · Q) 的幅度。

图像重建块：为了进一步增强由Transformer主干网络生成的深度特征，TurbNet使用重建块。重建块的主要作用是获取由Transformer主干网络生成的对应于湍流退化输入图像eI的深度特征，并通过编码来自空间相邻像素位置的信息，进一步在高空间分辨率上对其进行丰富，富含特征的信息通过一个包含 3 个 × 3 卷积层的输出投影模块，将其投影回对应于重建干净图像 J 的低维特征图。重建块的设计与编码器块非常相似，都包含 MHCA，并引入了局部增强前馈网络 (LoFFN) 。

重建模块的工作可以概括为：

湍流退化模块：在 TurbNet 中，湍流退化模块从输入的合成训练数据中学习物理湍流退化算子 T。湍流退化模块的主要任务是获取与退化输入图像 eI 对应的干净重建图像 JeI，应用学习到的退化算子 T，重建回退化的输入图像 eIT。这种公式通过在训练过程中加入额外的潜在退化图像 (eIT )，除了合成退化图像 (eI)，来丰富训练集。此外，该模块在没有真值的情况下，也方便了自监督学习。该模块的架构与带有 LoFFN 的图像重建块相同。

退化块的工作可以概括为：

损失函数：TurbNet 的优化需要对重建操作和湍流降级操作进行联合优化。给定降级输入 eI 和相应的真实图像 I 的合成训练对，制定了以下两种损失：

监督重建损失

其中，L0 负责根据降质后的输入图像 eI, L1 构造干净图像 JeI，T 帮助确保降质算子能够从重建的干净图像 JeI 重建原始输入 eI。

最终，训练 TurbNet 的总体损失 L 可以总结为：

整体管道如图 1(a) 所示，TurbNet 利用基于 Transformer 模块的 U 形架构来提取深层图像特征，使用初始卷积式输入投影将输入图像投影到更高维的特征空间，这可以带来更稳定的优化和更好的结果。在获得特征图后，TurbNet 联合学习湍流降级算子 (T) 和重建图像 (JeI)，这与直接重建干净图像的通用图像恢复方法相反。这种设计促进了湍流效应的空间自适应性和长程动力学，以及自监督一致性损失。

合成到真实泛化：使用合成数据预训练的 TurbNet 模型 M(·)，TurbNet 设计提供了一种有效的方法，通过自监督的方式利用降解算子 T (·) 在未见过的真实数据（如果需要）上进行泛化 M(·)。从模型 M(·) 开始，通过将未标记的真实数据与合成数据结合，创建一个泛化数据集，以微调 M(·)。对于没有真值的输入图像，M(·) 使用公式 (9) 进行优化，而对于来自标记合成数据的输入图像，M(·) 使用公式 (8) 和 (9) 进行优化。需要注意的是，将合成数据纳入微调过程中，以缓解泛化过程中灾难性遗忘的问题。

4大规模训练和测试数据集

4.1 训练数据：合成数据生成方案

训练深度神经网络需要数据，但真实的清洁-噪声湍流对几乎不可能收集。这里更可行的方法是利用强大的湍流模拟器来合成湍流效应。

深度学习背景下的湍流模拟的模型通过反复平滑一组随机尖峰来生成几何畸变，并且假设模糊是空间不变的高斯。我们认为，对于研究的面部图像，狭窄的视野使得他们的简化模型有效。然而，对于更复杂的情况，这种简化模型将无法捕捉到可能导致网络训练失败的两个关键现象：（1）即使湍流参数固定，湍流的瞬时畸变也可能在不同观测之间发生显著变化。参见图 3(a) 中来自真实数据的示例。(2) 在同一图像中，失真在空间上是变化的。参见图 3(b)。

为了捕捉这些现象，采用了一个先进的模拟器来合成一个用于大气湍流的大规模训练数据集。模拟器使用的干净数据是 Places 数据集。总共生成了 50,000 张图像，湍流参数被配置为涵盖广泛的条件，这是文献中首次尝试系统地生成如此全面且大规模的训练数据集。

4.2 测试数据：热室和文本数据集

真实的基准数据集包含两个部分：热室数据集和湍流文本数据集。尽管本文重点关注单帧恢复，但两个基准数据集都包含每个场景的 100 个静态湍流降级帧，从事多帧重建研究的领域研究人员也可以从数据集中受益。

热室数据集。热室数据集是通过加热成像路径上的空气来人工制造更强的湍流效应而收集的。收集热室数据集的设置如图 4 所示。通过关闭热源可以获得无湍流的真实图像。图像显示在距离相机 20 米的屏幕上。

虽然类似的数据集已经收集，但我们的数据有明显的改进：使用更长的路径和更均匀的热量分布，使得湍流效应更接近真实的远距离效应。捕获的图像具有更好的各向异性（空间变化）效应，几乎无失真的帧不太可能出现。此外数据集规模更大。它包含 2400 张不同的图像，这使得能够更好地评估基于学习的模型。热室数据集的样本图像可以在图 5 中找到。

湍流文本数据集。由于问题的性质，在真正长距离的场景中捕捉真实干净图像极其困难，甚至是不可能的。因此采用使用高级视觉任务的性能作为图像恢复评估指标的想法。计算 OCR 算法输出上的检测率和最长公共子序列作为评估指标。

使用文本识别的优势有几个：1）大气湍流引起的退化、几何失真和分辨率损失，可以直接从文本模式中反映出来。这两种类型的退化都需要被消除，才能使 OCR 算法表现良好。2）OCR 是一种成熟的应用。只要消除了湍流，所选算法就能识别文本模式。其他因素，例如训练数据和测试数据之间的领域差距，不会像其他高级视觉任务那样影响评估过程。3）设计数据集时需要考虑的一个重要因素是任务的难度是否合适。数据集既不应该过于困难，以至于识别率无法通过修复算法得到提升，也不应该过于简单，以至于所有算法的表现都类似。可以轻松地调整文本图案的字体大小和对比度，以获得合适的难度级别。

湍流文本数据集包含 100 个场景，每个场景包含 5 个文本序列。每个场景有 100 帧静态帧。可以假设场景内没有相机和物体运动，观察到的模糊是由大气湍流引起的。文本模式有三种不同的尺度，这为数据集增加了多样性。还提供标签，用于从图像中裁剪单个文本模式。数据集中的样本图像如图 6 所示。

5实验

1）TurbNet在合成和热室数据集上的最新恢复基线性能比较

2）湍流文本数据集上最先进的恢复基线与TurbNet的性能比较

3）TurbNet的定性性能比较

4）湍流文本数据集重建算法的OCR性能

更多「小小cv笔记」精彩内容，欢迎点击「阅读原文」

TurbNet|单帧大气湍流缓解：基准研究和一种新的物理启发Transformer模型(ECCV2022)