论文题目

Lightweight Improved Residual Network for Efficient Inverse Tone Mapping

1简介

诸如HDR10电视之类的高动态范围（HDR）显示设备在日常生活中越来越普遍，用于可视化高动态范围（HDR）图像。但是互联网上的大多数媒体图像仍然是8位标准动态范围（SDR）格式。因此通过反向色调映射（ITM）将SDR图像转换为HDR图像对于充分释放大量媒体图像的潜力至关重要。然而现有的ITM方法通常采用复杂的网络架构开发，需要巨大的计算成本。本文提出了一种轻量级的改进残差网络（IRNet），通过增强流行的残差块的性能来实现高效的ITM。提出了一种新的改进残差块（IRB），以提取和融合多层特征，用于细粒度的HDR图像重建。在三个基准数据集上的实验表明，IRNet在ITM和联合SR-ITM任务上都实现了最先进的性能。

本文利用流行的残差学习方法来开发一个简单而轻量级的改进残差网络 (IRNet)，以实现高效的 ITM 性能。提出了一种改进的残差块 (IRB)，它对残差块进行了简单的修改，以实现细粒度的特征提取和融合。在网络设计方面，还采用了简单的残差学习框架，以避免复杂的多分支架构。在三个基准数据集（包括新收集的数据集）上的实验表明，IRNet 非常高效，并且优于最先进的 ITM 方法。如图 1 所示，IRNet 只需要 ∼0.13M 个参数和 ∼0.22×104G FLOPs，就能以 398.33 毫秒的速度处理一张 4K 分辨率的图像，这优于 ITM 任务中最先进的方法。在 HDRTV1K 数据集上，IRNet 在视觉质量和 PSNR 上超过了 AGCM+LE0.59dB，但只有其十分之一的参数量（∼0.13M v.s. ∼1.41M）。此外 IRNet 在联合 SR-ITM 方面也实现了优于 Deep SR-ITM和 JSI-GAN的性能。

主要贡献有三方面：

• 开发了一种轻量级的改进残差网络 (IRNet)，用于高效的图像反色调映射 (ITM)。IRNet 基于一个新的改进残差块 (IRB) 构建，该块从流行的残差块定制而来，用于细粒度特征提取和融合。

• 收集了一个新的 ITM 测试集，即 ITM-4K，它包含 160 张 4K 分辨率的图像，这些图像涵盖了各种场景，并具有真实 HDR 图像。它可以作为 HDRTV1K的良好补充，HDRTV1K 包含 117 张测试图像。

• 在 HDRTV1K 数据集、新构建的 ITM-4K 测试集以及中的测试集上进行的实验表明，提出的轻量级 IRNet 模型高效且在 ITM 和联合 SR-ITM 任务上取得了令人印象深刻的定量和定性结果。全面的消融研究也验证了模型设计的有效性。

2背景

高动态范围（HDR）图像相比于具有8位色彩深度的标准动态范围（SDR）图像，在高光和阴影中展现出更清晰的细节，以及在亮度和色彩上更平滑的过渡。由于这些优点，电视和移动设备制造商正努力将HDR内容带给有需求的消费者。尽管HDR显示设备允许通过杜比视界、HDR10和HDR10+技术在HDR图像中呈现更具视觉愉悦感的内容，但8位深度的SDR图像在直接于HDR显示设备上广播时会显得平淡无奇。为了在HDR显示设备上呈现更接近人类感知的SDR图像，必须将SDR图像转换为舒适的HDR图像，且不损失色彩或信息。这个具有挑战性的问题被称为逆色调映射（ITM），它已被更广泛地研究，而不仅仅是在线性色彩空间中扩展相机原始图像文件的亮度范围。

早期的图像ITM方法主要依赖于全局或局部图像处理算子以获得有前景的性能。全局ITM算子通常利用反向色调映射函数来扩展图像像素的动态范围。但这会导致不同亮度级别的相邻像素之间出现失真的细节和不均匀的过渡。局部ITM算子以空间变化的方式扩展图像的位深度。这些方法无法保持图像中亮度范围的全局一致性。最近，深度神经网络已被用于从数据驱动的角度解决ITM任务。这些网络通常包含具有复杂架构的强大骨干网络，这可能需要巨大的计算成本才能获得有前景的ITM性能。此外通过从输入图像中分离基础和细节分量，并进行额外的图像分解，同时处理联合图像超分辨率（SR）和ITM（联合SR-ITM）任务。然而与之前的ITM方法相比，这会进一步增加当前联合SR-ITM方法的模型复杂性和计算成本。

ITM方法存在两个主要局限性。首先，复杂的模型架构掩盖了ITM问题的核心，即“扩展低动态范围图像的亮度范围以产生更高动态范围的图像”。这种扩展亮度范围或颜色位深度的问题类似于图像超分辨率和视频帧预测的任务，它们都旨在从不同方面增加输入图像的高度相关信息。因此，正如图像超分辨率和视频帧预测中的并行工作所启发的那样，有可能通过简单而轻量级的神经网络来解决ITM问题。其次，巨大的计算成本也限制了ITM方法在边缘设备中的普及。

3 提出的方法

3.1 动机

在场景参考工作流程中，相机色彩空间中的HDR原始图像（通常为16位色彩深度）将被色调映射到显示器参考色彩空间中的SDR RGB图像（通常为8位色彩深度）。此过程通常在包含多个图像处理操作的相机成像流水线中实现，在此过程中，不同的像素通常会经历不同的动态范围压缩强度，以产生视觉上令人愉悦的图像对比度。

逆色调映射（ITM）的任务旨在增加SDR图像中光强度（或亮度）的动态范围。8位深度的SDR图像最多可以显示约1670万种颜色，而10位深度的HDR图像最多可以显示约10.7亿种颜色，使其能够呈现更多颜色并具有更好的视觉质量。为了更好地理解SDR和HDR图像之间的亮度差异，在图4（a）中，可视化了来自测试集的117张HDR图像的最大和最小亮度值，以及配对SDR图像中相应位置的亮度值。观察到HDR图像的最大值与配对SDR图像中相应位置的值之间存在明显的差距，而HDR图像的最小值与配对SDR图像中相应位置的值之间存在细微的差异。这表明高亮度值的变化比低亮度值的变化更大。此外，不同的HDR图像的亮度值与配对SDR图像中相应位置的值相比，也显示出明显的差距。

为了获得有前景的ITM性能，最先进的ITM方法都存在网络骨干复杂、参数量巨大和计算成本高昂的问题。为了实现高效的ITM，本文建议通过稍微修改残差块来开发一种简单、轻量级且高效的改进残差网络（IRNet）。如图2（b）所示，在提出的改进残差块（IRB）中，将LeakyReLU之后提取的中间特征图F1与Fin和F2的融合特征连接起来。如图4（b）所示，IRNet显示出明显的改进，尤其是在HDRTV1K测试集中图像“028”上阳光附近的明亮区域，相比于未使用特征图F1的情况。沿着突出显示的线，IRNet的绿线比未使用中间特征F1的IRNet的红线（表示为“IRNet w/o F1”)）更接近“Ground Truth” HDR图像的蓝线。在图4（c）中，绘制了IRNet和“IRNet w/o F1”突出显示线的亮度值之比，这也验证了IRNet比没有F1的IRNet更接近“Ground Truth”。这验证了我们的IRB相对于残差块在ITM方面的有效性。

自适应亮度扩展对于ITM任务也很重要。为了实现这一目标，许多联合SR-ITM方法执行图像或特征分解，以提取和融合多尺度特征图。然而这些采用分解技术的ITM网络通常具有复杂的网络结构和繁重的计算成本（表1）。出于效率考虑，将IRNet设计为一个简单而轻量级的网络，采用流行的残差块作为IRNet的合适骨干。图4（b）中不含F1的IRNet所取得的可喜成果，对其进行改进，以获得更好的ITM性能。

3.2 提出的改进残差网络

设计IRNet的动机是充分利用多尺度特征融合在块内（在IRB内）和块间（在不同的IRB之间）层面的有效性。IRNet首先使用1 × 1卷积层（而不是3 × 3卷积层，以减少参数量）提取初始特征图。然后，在块内多尺度特征融合的支持下，n个级联的改进残差块（IRB）负责细粒度的特征提取。为了提高精细特征的利用率，每个IRB之后都跟随一个对比感知通道注意力（CCA）层。还通过在每对IRB块和CCA层之间添加残差连接来探索块间层面的多尺度特征融合，这进一步促进了信息流动。

改进的残差块 (IRB)。所提出的 IRB 块建立在残差块的基础上，该残差块在许多计算机视觉任务中取得了巨大的成功。如图 2 (a) 所示，残差块包含两个 3 × 3 卷积层，它们之间有一个激活函数（这里我们将 ReLU 替换为 LeakyReLU），输出特征与输入特征 Fin 相加，并通过 LeakyReLU 激活。

IRB模块建立在残差块的基础上，旨在使我们的IRNet尽可能简单，并具有更好的ITM性能。通过充分利用IRB模块中的多层特征图，这是可行的。为此，给定输入特征Fin ∈ RH×W ×C，IRB首先通过一个3 × 3卷积层和一个LeakyReLU激活函数对其进行细化。提取的特征F1 ∈ RH×W ×C/2在IRB中通过第二个3 × 3卷积层进一步细化，以输出特征F2 ∈ RH×W ×C:

然后，IRB 使用跳跃连接和一个 Conv1×1 来融合 Fin 和 F2，并获得融合特征 Ffuse:

IRB 明确地将中间特征 F1 与融合特征 Ffuse 连接起来，以生成输出特征 Fout，如下所示：

在图 2 (b) 中可视化了 IRB 模块的结构。

与原始残差块相比，IRB能够很好地提取和利用多层特征，这些特征对应于ITM的空间自适应亮度区域。如图3（a）所示，与没有F1的IRNet相比，IRNet能够将HDR图像的亮度恢复得更接近真实值，尤其是在高光区域。即使像U-net或Uformer这样流行的编码器-解码器框架可以用于提取强大的多尺度特征，但这将显著增加参数量和计算成本。通过对残差块进行简单的修改，所提出的IRB作为我们IRNet中的一个轻量级构建块，可以实现高效的ITM性能。

沿通道维度的平均特征图可以反映该特征的亮度信息。在图3 (b)中，可视化了由IRNet和“IRNet w/o F1”提取的Fin、F1、F2、Ffuse和Fout的平均特征图。可以看出，由IRNet提取的F1的平均特征图在太阳周围的天空区域表现出比“IRNet w/o F1”更高的亮度。由于中间特征F1缺乏亮度信息，“IRNet w/o F1”在IRB块的输入特征Fin处产生更强的对比度，并且在输出特征Fout中太阳周围的亮度比我们使用F1的IRNet更暗。

对比度感知通道注意力 (CCA)。为了保留图像细节，在每个IRB块之后使用一个CCA层。如图2 (c)所示，CCA层由对比度计算、两个与ReLU函数交织的1×1卷积层、一个sigmoid函数以及输入和输出特征之间的跳跃连接组成，以帮助梯度传播。给定输入X = [x1, . . ., xC] ∈ R^{H×W ×C}，对比度计算如下

在第 i 个 (i = 1, . . ., n − 1) IRB 块和 CCA 层之后，输出特征通过跳跃连接添加到输入特征 Fini，Finn+1 是最终的特征，将作为输入传递给下一个卷积层，如下所示

在提取n个尺度的细粒度特征图后，将它们连接起来进行多尺度特征融合，这通过一个1 × 1卷积层、一个LeakyReLU激活函数和一个3 × 3卷积层序列来实现。最后使用一个3 × 3卷积层重建输出HDR图像。所提出的IRNet的整体架构如图2（d）所示

为了将所提出的IRNet应用于联合SR-ITM任务，在IRNet的最后3个3×3卷积层之后进一步添加了一个Pixel Shuffle操作，使其适用于超分辨率。Pixel-Shuffle包含两个3×3卷积层，它们与ReLU函数交错排列。第一个卷积层将特征图的通道维度从C减少到3s²，其中s是上采样因子，而第二个卷积层通过将特征图上采样s倍来重建3通道的HR-HDR图像。

3.3 实现细节

将特征图Fin的通道维度设置为C = 64。对于ITM任务，IRB块的数量n设置为n = 2；对于联合SR-ITM任务，n设置为n = 5。使用Kaiming初始化来初始化IRNet的参数。为了优化这些参数，采用Adam优化器，其中β1 = 0.9，β2 = 0.999，以最小化ℓ1损失函数。学习率η初始化为5×10⁻⁴，并通过带有warm restart的余弦退火调度在每60个epoch后降低到1×10⁻¹¹。批大小设置为16。在具有32GB内存的NVIDIA V100 GPU上训练IRNet模型200个epoch。

4实验

1）HDRTV 1 K测试集上ITM任务的参数数量、4K分辨率图像上的FLOP、4K图像上的运行时间、PSNR、SSIM、LPIPS和HDR-VDP 3（质量）比较

2）ITM-4K测试数据集和测试集上ITM任务的参数量、PSNR、SSIM、LPIPS和HDR-VDP3（质量）比较

3）HDRTV1K测试集上不同ITM方法的视觉质量、PSNR（dB）和SSIM结果

4）不同联合SR-ITM方法在两幅SDR图像上的视觉质量、PSNR（dB）和SSIM结果

5）在HDRTV 1 K测试集上采用不同方法对联合SR-ITM任务进行评估指标的比较结果

6）在HDRTV 1 K测试集上IRNet-2与ITM的不同IRB变体的结果

更多「小小cv笔记」精彩内容，欢迎点击「阅读原文」

用于高效逆色调映射的轻量级改进残差网络