论文题目

Depth and DOF Cues Make A Better Defocus Blur Detector

1简介

散焦模糊检测 (DBD) 将图像中的清晰区域和模糊区域区分开来。以前的方法错误地将清晰的均匀区域误认为散焦模糊区域，这可能是由于没有考虑导致散焦模糊的内部因素。受深度、景深 (DOF) 和散焦规律的启发，提出了一种名为 D-DFFNet 的方法，该方法以隐式方式结合了深度和 DOF 线索。这使得模型能够以更自然的方式理解散焦现象。提出了一种深度特征蒸馏策略，从预训练的单目深度估计模型中获取深度知识，并使用 DOFedge 损失来理解 DOF 与深度之间的关系。D-DFFNet在公开基准测试和新收集的大型基准数据集 EBD 上优于最先进的方法。

为了从输入图像中获取深度表示，引入了深度特征蒸馏，使用知识蒸馏策略将多级特征知识从预训练的深度估计模型转移到散焦模型。方法使用特征对齐投影器和成对损失，将来自预训练的深度教师模型和散焦教师模型的知识共同蒸馏到散焦学生模型，从而确保深度和散焦信息的平衡表示。

除了在散焦模糊检测器中获取隐式 3D 几何信息外，还以一种简单但有效的方式引入了 DOF 参数。DOF 是场景中看起来清晰的距离范围，它由清晰区域和散焦区域之间的边界决定。为了在模型中整合景深（DOF），使用“DOF-边缘损失”来在学习深度的过程中对 DOF 区域的边缘提供额外的监督。这有助于模型理解 DOF 与深度的关系，并更准确地检测散焦模糊。隐式深度和 DOF 线索使检测器更加鲁棒，并帮助它解决“同质区域”问题。

当前的 DBD 基准存在一些局限性，例如图片数量太少、缺乏高分辨率图像以及缺乏使用宽或浅景深拍摄的图像。为了方便评估，收集了一个名为 EBD 的新测试数据集，该数据集包含从 EBB! 数据集中选取的 1605 张高分辨率图像，并手动标注了像素级 DBD 图。使用浅景深拍摄了 1305 张 EBD 图像，产生了强烈的散景效果，另外 300 张图像则使用大景深拍摄，获得了清晰的照片，如图 6 所示。

主要贡献总结如下

• 提出了一种深度特征蒸馏策略和一个DOF-edge损失，分别暗示散焦模糊检测器的深度知识和相机模型信息，这显著且直观地提高了检测器。

• 构建了一个名为 EBD 的大规模基准，包含 1605 张高分辨率、标注精良的图像，其特点是场景更加复杂，景深设置范围更广。

• 对 14 种最先进的方法进行了实验，结果表明D-DFFNet取得了更好的结果。

2背景

给定一张图像，DBD 旨在区分图像中的失焦区域，并促进一系列应用，例如显著目标检测、单目深度估计、散景渲染、图像去模糊和质量评估等。

对于散景效果的图像，传统方法通常依赖于图像的低级线索（例如，图像梯度）来建模散焦区域，并在具有丰富场景结构的图像上表现良好。然而，同质区域和散焦区域之间没有一一对应关系，散焦区域通常是平滑的，但平滑区域可能处于对焦状态。图1中的一个例子，其中纸袋和水果的区域都是同质的，而只有包含前部水果的区域是散焦的。因此，需要寻求更好的散焦区域模型。

最近的研究通过依赖深度卷积神经网络 (CNN) 来缓解这个问题，尽管散焦区域可以用隐式学习的深度特征更好地描述，但仍然难以将平滑和清晰区域与散焦区域区分开来。在理想情况下，如果已知相机模型和场景的 3D 几何形状，DBD 问题将变得适定且易于解决。尽管仅用一张图像来实现这一点始终不可行，但提示检测器图像深度和部分相机模型（DOF）将是一种替代方案。

3方法

A. 景深(DOF)、深度和散焦的物理关系

摄影中的景深是指照片中呈现清晰的距离范围。景深的大小取决于光圈大小和拍摄主体距离（深度）等因素。散焦，或称“焦外虚化”，是指照片中失焦区域的美学品质。浅景景深味着只有相机附近一小段距离内的物体处于焦点，从而产生强烈的散景效果。深景景深味着大范围的距离都处于焦点，从而产生清晰的照片，几乎没有或没有散景。DBD 模型利用 DOF 信息和深度表示，以自然的方式检测散焦区域。

B. 深度特征蒸馏策略

为了将这种关系融入DBD 算法，提出了深度特征蒸馏策略，该策略将 3D 信息（图像深度）引入 DBD 模型。通过两阶段训练过程完成，如图 2 所示。在第一阶段（图2(a)），从头开始训练一个散焦模糊检测器，不使用任何深度信息。散焦模型可以独立地预测散焦模糊。训练模型将输入图像x映射到目标标签y。将编码过程描述为ϕ(x; θdt )，它以图像作为输入，输出一个高维特征。解码过程描述为ψ(ϕ(x; θdt ); ϑt d)，它以编码后的特征作为输入，预测最终的散焦模糊输出。这里，θdt 和 ϑt d 分别是编码器和解码器的参数。下标 d 表示散焦模糊检测器，上标 t 表示教师模型。

网络参数 θdt 和 ϑt d 使用 DBD 损失函数 ℓd 在训练样本上进行优化，该函数衡量的是真实值和预测值之间的距离。其公式如下：

在第二阶段（如图 2(b) 所示），实施深度特征蒸馏策略。在这个阶段，使用两个教师模型：来自第一阶段的预训练散焦模型作为散焦教师模型，以及一个名为 Midas的预训练深度估计模型作为深度教师模型。在这个训练阶段，同时将散焦教师模型和深度教师模型的特征知识蒸馏到散焦学生模型中，同时训练学生模型。这是通过最小化教师模型和学生模型的编码器特征之间的距离来实现的，采用平方差来制定成对相似性蒸馏损失，如下所示：

由于散焦特征和深度特征在特征维度上的差异，使用两个投影器（1×1 卷积层），分别表示为 Aθ1 和 Aθ2，用于特征对齐，θ1 和 θ2 分别是两个投影器的参数。使用特征损失 ℓf 和 DBD 损失 ℓd 来优化散焦学生网络的参数（编码器：θds，解码器：ϑs d)）以及两个投影仪 (θ1 和 θ2) 的参数，特征损失 ℓf 定义为：

其中下标m表示单目深度估计，下标d表示如上所述的DBD，上标s表示学生模型，上标t表示如上所述的教师模型。θdt和θmt分别表示来自散焦教师编码器和深度教师编码器的冻结参数。

精心设计的蒸馏策略消除了修改 DBD 模型架构的需要，方法能够应用于任何类似的架构，而不会影响推理速度。与使用现有的 DBD 模型相比，唯一的额外成本是训练一个失焦学生模型进行蒸馏。

C. DOF-边缘损失

使用 DOF 边缘损失引入 DOF 信息，使用基于骰子的损失函数 ℓe 来衡量边缘预测与其对应标签之间的距离：

其中 Eˆ 代表 DBD 预测的边缘，而 E 表示 DBD 标签的边缘。除了 DOF 边缘损失外，使用二元交叉熵损失 (BCE) 来计算 DBD 图 yˆ 与其对应标签 y 之间的像素级差异，如下所示：

使用 DOF 边缘损失和 BCE 损失来预测最终的散焦结果 yˆ 和四个侧输出 yˆk′ (k ∈ [1, . ., 4])，并使用超参数 λ，通过实验将 λ 设置为 0.5。最终的 DBD 损失 ℓd 定义如下：

D. DFFNet 模型架构

模型 DFFNet 既用作散焦教师模型，也用作散焦学生模型。DFFNet 的结构如图 3(a) 所示。为了进行特征提取，使用预训练的 ResNeSt101作为主干网络。在每个解码器分支中，使用感受野块 (RFB)来增强和细化特征。来自不同分支的特征随后使用密集特征融合模块 (DFFM) 进行密集融合。使用侧分类器（1x1 卷积层）从每个分支生成多尺度预测。之后使用空间注意力块（图 3(b)）根据预测生成注意力图。然后使用这些注意力图通过逐元素乘法对特征进行加权。最后将自下而上路径中每个分支的特征聚合以生成最终预测。