论文题目

Learning Distortion Invariant Representation for Image Restoration from A Causality Perspective

1、简介

深度神经网络（DNNs）在图像恢复方面的巨大进步，然而它们无法很好地泛化到具有不同程度或类型的现实世界退化。本文首次从因果关系的角度提出了一种新颖的图像恢复训练策略，以提高DNNs对未知退化的泛化能力，方法称为失真不变表示学习 (DIL)，将每种失真类型和程度视为一个特定的混杂因素，并通过消除每种退化的有害混杂效应来学习失真不变表示。从优化的角度对不同失真的干预进行建模，利用因果关系中的后门准则推导出DIL，引入了反事实失真增强来模拟虚拟失真类型和程度作为混杂因素。然后基于相应的失真图像，通过虚拟模型更新来实例化每个失真的干预，并从元学习的角度消除它们。大量实验表明，DIL 在未见过的失真类型和程度上具有泛化能力。

为了提高恢复网络的泛化能力，在图2中构建了一个图像恢复过程的结构因果图，并通过从优化角度实现后门准则，提出了D失真不变表示学习（DIL）用于图像恢复。实现这一目标面临着两个挑战。第一个挑战是如何构建混杂因素集（即失真集）。从因果关系的角度来说，除了失真类型外，最好保持失真图像中的其他因素不变。然而在现实世界中，收集失真/干净图像对，尤其是具有不同真实失真但内容相同的情况是不切实际的。受因果关系中的反事实和失真模拟的启发，提出了反事实失真增强，它从常用的数据集中选择一定数量的高质量图像，并模拟这些图像上的不同失真程度或类型作为混杂因素。

实现 DIL 的另一个挑战在于为后门准则找到一个稳定且合适的实例化方案。先前的工作通过使用注意力干预、特征干预等实例化后门准则，将因果推断融入到高级任务中，这些方法难以应用于图像恢复的低级任务。这项工作从优化的角度出发，理论上推导出失真不变表示学习 DIL，并通过实例化后门准则，通过使用来自相应失真的样本虚拟更新恢复网络，对恢复过程中的模拟失真进行干预建模。然后通过将元学习中的优化策略引入提出的DIL，消除了失真带来的混淆效应。通过这种方式，可以在图像恢复中实例化因果学习，并基于后门准则实现DIL。

本文的贡献如下：

• 从因果关系的角度重新审视图像恢复任务，并指出恢复网络泛化能力差的原因是，恢复网络不独立于训练数据集中的失真。

• 基于因果关系中的后门准则，提出了一种新颖的图像恢复训练范式，即失真不变表示学习 (DIL)，其中干预通过虚拟模型更新在反事实失真增强下实现，并通过基于元学习的优化消除。

• 在不同的图像恢复任务上进行的大量实验表明，DIL 在提高对未见失真类型和程度的泛化能力方面是有效的。

2、背景

图像恢复 (IR) 任务，包括图像超分辨率、去模糊、去噪、压缩伪影去除等，在深度学习的推动下取得了惊人的性能。一系列骨干网络精心设计以提升特定退化的恢复性能。卷积神经网络 (CNN) 和 Transformer是图像恢复骨干网络的两种常用设计选择。然而如图 1 所示，当遇到未见过的退化时，这些工作不可避免地会遭受严重的性能下降，其中训练中的恢复程度对应于标准差为 20 的噪声，而测试中的程度则不同。图像复原中常用的训练范式，即经验风险最小化 (ERM)，对于分布外退化效果不佳。特别是用 ERM 训练的复原网络仅仅通过最小化 Io 与对应干净图像 Ic 之间的距离来挖掘失真图像 Id 与其理想重建图像 Io 之间的相关性。然而也捕获了虚假相关性，这引入了特定退化 d 的不良混杂效应。这意味着条件概率 P(Io|Id) 也以失真类型或程度 d 为条件。

一个泛化的恢复网络应该对失真具有不变性，给定两个具有相同内容Ic但不同退化d1和d2的失真图像，稳健的恢复网络预计会恢复相同的重建图像Io。先前关于恢复网络鲁棒性的工作可以粗略地分为两类：基于失真适应的方案和基于域适应/转换的方案。基于失真自适应的方案旨在估计失真类型或表示，然后通过自适应地调节恢复网络来处理不同的失真。领域自适应/迁移方案将不同的失真视为不同的领域，并将领域自适应/迁移策略引入图像恢复领域。然而上述工作忽略了探索恢复网络泛化能力差的内在原因。本文从因果关系的角度出发，首次尝试因果关系启发的图像恢复，提出了一种新颖的失真不变表示学习方法，以提高恢复网络的泛化能力，相关性并不等同于因果关系。学习图像恢复的失真不变表示需要获得失真图像和理想重建图像之间的因果关系，而不仅仅是它们的关联性。因果关系估计通常有两个调整标准，分别是后门准则和前门准则，后门准则旨在通过遍历已知的混杂因素来消除不良的混杂效应，而前门准则则是为了解决无法识别混杂因素的挑战。

3、方法

3.1. 图像恢复的因果视角

图像恢复旨在恢复失真图像，其退化过程可以用函数 Id = g(Ic, D) 表示。其中，Ic, Id, D 分别表示干净图像、失真图像和失真。D 包含失真类型 Dt 和程度 Dl。一个恢复网络 f 使用损失函数进行训练，以最小化其理想重建图像 Io 与原始干净图像 Ic 之间的差异。用结构因果图来模拟整个过程，如图 2 所示，D →− Id ←− Ic 表示 Id = g(Ic, D) 的退化过程。Ic →− Io 表示 Io 通过最大化 P (Ic|Io) 的概率，在 Ic 的监督下学习得到。此外，D →− Io 指的是从 D 到 Io 学习到的知识。Id →− Io 表示使用恢复网络 f 进行的恢复过程。

从因果关系的角度来看，图像恢复的因果表示要求恢复网络f获得Id →− Io之间的因果关系。然而，存在两个额外的路径Id ←− D →− Io和Id ←− Ic →− Io，它们将虚假相关性引入Id和Io，其中Ic和D是因果关系中的混杂因素。重要的是，Ic 是数据集中的常见多样性，并为重建图像 Io 带来更生动的纹理，这是一个有利的混杂因素。

目标是提高恢复网络对未知或未见失真的鲁棒性，而这些失真受到混杂因素 D 的不良混杂效应的抑制。但是混杂因素 D 如何限制恢复网络的泛化能力？如图 2 所示，Id ←− D →− Io 的存在导致恢复网络 f 学习的条件概率 P (Io|Id) 也受失真 D 的影响，即 f 的拟合条件概率实际上为 P (Io|Id, D)。因此，恢复网络f 由于不独立于不同的失真 D，因此对不同的失真不鲁棒。

一个鲁棒的恢复网络 f 应该独立于不同的失真。为了实现这一点采用因果推断中的后门准则，通过“do”操作来实现失真不变学习 (DIL)。这里，一个“do”操作被用来切断从失真 D 到 Id 的连接，从而消除 D 对路径 Id →− Io 的不良混杂影响，并学习失真不变特征表示。将图像恢复中的后门准则公式化为等式 1

其中因果条件概率 P (Io|do(Id)) 是恢复网络 f 针对失真不变学习的优化方向。为了简化优化，将每个失真 di 的概率设置为 1/n，其中 n 是混杂因素中存在的失真类型和程度的数量。从公式 1 可以看出，实现这一目标面临着两个关键挑战。1) 如何构建虚拟混杂因素（即不同的失真类型或程度）？因为在现实世界中收集具有相同内容的不同真实失真图像并非易事。2) 如何将不同失真的干预实例化到重建中。通过反事实扭曲增强和扭曲不变表示学习来实现这一点。

3.2. 反事实扭曲增强

为了学习用于恢复网络的失真不变表示，构建失真集 D（即混杂因素）至关重要，如果期望恢复网络对不同失真程度具有泛化能力，则需要构建具有不同级别失真的失真集 D，可以通过构建包含不同但相关失真类型的D来提高恢复网络对未知失真类型的泛化能力，为了避免不同图像内容的影响，最好在D中为每个干净图像提供具有各种失真类型或程度的对应失真图像。然而在现实世界中收集满足上述原则的数据集并非易事，这既费时又费力。

本文构建了包含合成失真的失真集 D，可以在因果关系中将其称为虚拟混杂因素，收集了一系列高质量图像 Ic，并通过修改退化过程 Id = g(Ic, di), di ∈ D 来生成失真图像。可以从因果关系中的反事实中证明上述失真增强的正确性。

3.3. 失真不变表示学习

在构建虚拟混杂因素/失真集 D = {di|1 ≤ i ≤ n} 之后。能够通过将后门准则作为等式 1 应用于图像恢复来实现失真不变的表示学习。首先介绍概率 P (Io|Id) 与常用的训练范式 ERM（经验风险最小化）之间的关系。在图像恢复中，理想的重建Io期望通过最大化条件概率P (Io|Id)来学习，其损失函数为L(fθ(Id), Ic)，其中fθ是具有参数θ的恢复网络，L表示损失函数，例如常用的L1或L2损失。ERM 用于通过最小化损失函数在整个训练数据集 D = {Id, Ic|d ∈ D} 上优化网络 fθ（其参数用 θ 表示）：

本文提出通过优化网络参数 θ 来建模从 di ∈ D 到恢复过程（即 P (Io|Id, di))）的干预。从以上分析可知，在成对训练数据 (Idi, Ic) 上使用 ERM 训练的恢复网络 fθ 是以失真 di 为条件的。这激励通过使用训练的失真-干净图像对 (Idi, Ic)，基于经验风险最小化 (ERM) 更新模型参数 θ 到 ϕdi，来实例化不同失真类型或程度 di ∈ D 的干预。

其中 ϕdi 表示一步更新后恢复网络的参数，该参数以混杂因素 di 为条件。等式 1 中最大化因果条件概率 P (Io|do(Id)) 的优化方向可以推导为：

其中 D 表示包含 n 个失真程度或类型的混杂因素集。基于上述优化目标，从因果关系的角度学习失真不变的表示学习。

3.4. 元学习中 DIL 的实现

从因果关系的角度来看，Eq. 4 中推导出的 DIL 优化方向与一种称为 MAML的典型元学习策略一致，尽管它们的目的不同。MAML 旨在使网络能够快速适应少量样本的任务，而本文的目标是提高恢复网络的泛化能力。基于这种元学习策略，促进了图像恢复中的 DIL。

然而，将公式 4 的优化方向直接融入实际训练过程是十分困难的，因为这在计算上是不可行的。原因在于它需要多次梯度计算和更新，这非常昂贵，特别是对于像素级图像恢复而言。为了简化此过程，利用泰勒展开和逆展开推导出公式 4，如下所示：

其中 ϕd¯ 表示恢复网络 f 的参数，该参数通过使用所有失真样本的损失函数进行虚拟更新 D = {di}, 1 ≤ i ≤ n。将此定义为 DIL 的并行采样，它将 DIL 的复杂训练过程简化为两个步骤。本文将原始采样策略称为串行采样。串行采样和并行采样的比较如图 3 所示。

还研究了两种不同的 DIL 梯度更新策略。从公式 4 和公式 5 可以看出，它们需要二阶梯度，因为梯度是通过 ϕdi 的两步前向计算得到的，如图 3 所示。为了简化，Reptile提出了一种替代策略（即用一阶梯度的顺序参数更新来近似二阶梯度）。优化方向（即梯度）是通过初始参数和最后一步参数之间的偏差计算得到的。将它整合到我们的 DIL 中，并将其称为一阶优化。相比之下，等式 5 中的原始优化被称为二阶优化，根据上述两种策略提出了 DIL 的四种变体。DILsf 采用串行采样和一阶梯度优化。DILpf 利用并行采样和一阶优化。DILss/DILps 利用二阶优化和 s 串行/并行采样。

4、实验

1）几种基准数据集图像去噪的定量比较

2）在多个基准数据集上对图像去模糊进行定量比较

3）混合失真去除的定量比较

4）网络泛化能力在真实图像去噪和合成图像去雨任务上的定量结果

5）常用 ERM 和提出的 DIL 在未见混合失真（轻微）图像恢复中的视觉比较

6）网络泛化能力在 RealSR 任务上的定量结果

从因果关系的角度学习图像修复的失真不变表示法(CVPR2023)