论文题目

SpectFormer: Frequency and Attention is what you need in a Vision Transformer

1简介

视觉变换器已经成功地应用于图像识别任务。（ViT，DeIT）类似于文本模型中的原始工作或最近基于光谱层（Fnet，GFNet，AFNO）。假设频谱层捕获高频信息，如线条和边缘，而注意力层捕获令牌交互。通过这项工作调查了这一假设，并观察到混合光谱和多头注意力层确实提供了一个更好的Transformer架构。因此提出了新的Spectformer架构的视觉变换器，具有初始光谱和更深的多头注意力层，所得到的表示允许Transformer适当地捕获特征表示，并且它产生优于其他Transformer表示的改进的性能，与GFNet-H和LiT相比，SpectFormer-H-S在ImageNet-1 K上的top-1准确率提高了2%。（小版本的现有技术）。此外，Spectformer-H-L达到85.7%我们进一步验证了SpectFormer在其他场景中的性能，例如作为标准数据集（如CIFAR-10，CIFAR-100，OxfordIIIT-flower和Standford Car数据集）上的迁移学习。然后研究了其在下游任务（如MS-COCO数据集上的对象检测和实例分割）中的使用，并观察到Spectformer显示出与最佳主干相当的一致性能，并且可以进一步优化和改进

我们分析并观察到，在Transformer架构中拥有所有谱层可以降低复杂度至O(Nlog(N))。然而，所有谱层Transformer，如GFNet或 AFNO ，与最先进的Transformer模型，如Volo、WavViT、Flatten Transformer 、MixFormer、SVT、Biformer、STViT和 FDVIT等相比，都存在性能差距。相反，所有注意力层Transformer，如DeIT，其复杂度为O(N 2)，并且可能无法在更长的输入token尺寸下表现良好。这促使提出SpectFormer，它结合了捕获周期性信息的谱层和捕获非周期性信息的多头自注意力机制，如图所示。初始的谱层将帮助SpectFormer捕获线条和边缘，而后面的注意力层则捕获长程的token依赖关系。我们的方法结合了谱方法和多头注意力机制，如图-2所示。如图所示，SpectFormer可以产生一系列Transformer，从亚二次复杂度且无注意力的Transformer（全部为谱层）到复杂度为O(N 2)的常规二次复杂度基于注意力的Transformer。还通过可视化学习到的滤波器来验证 SpectFormer 架构，并发现与类似的完全谱 GFNet相比，谱层的滤波器更局部化。证据表明，采用混合谱和后续的多头注意力机制可以带来更好的结果。必须指出的是，在SpectFormer的训练阶段，更深层的注意力层使得初始频谱层能够学习图像特征的边缘和线条，而在GFNet中，由于缺少更深层的注意力层，初始层学习到的滤波器不够清晰。

下面概述了贡献：

• 谱层：SpectFormer的设计采用初始的谱层，而更深层则采用多头注意力机制。谱层包含一个利用可学习傅里叶变换的谱门控网络。包括滤波器可视化在内的经验研究表明了这种设计的有效性，与完全谱的GFNeT相比，它展示了更局部的学习滤波器。

• 性能比较：SpectFormer 与各种 Transformer 架构进行了系统性的比较，包括 LiT、DeIT、GFNet、AFNO、PVT、Swin、FDViT、Flatten Transformer、MixFormer、STViT 和 Bi-Former，数据集为 ImageNet。结果表明，SpectFormer 优于这些模型，在 ImageNet 1K 分类中取得了最先进的结果。

• 迁移学习能力：SpectFormer在迁移学习场景中表现出强大的性能，尤其是在ImageNet上训练并在CIFAR数据集（CIFAR-10和CIFAR-100）上测试时。该模型在这种迁移学习模式下实现了与其他transformer相当的性能水平。

• 任务通用性：SpectFormer在图像分类之外的任务中表现出一致且具有竞争力的性能。在MS COCO数据集上的评估表明，其在目标检测和实例分割等任务中具有有效性，展示了其在各种计算机视觉任务中的通用性。

2背景

Transformers起源于自然语言处理领域，并行工作将 Transformer 的概念扩展到计算机视觉和其他领域，探索的主要思想保留了原始 Transformer 架构的大部分。显然，不同的领域可以从适应特定任务的 Transformer 中受益。这项工作的目标是专门分析用于图像分类任务的 Transformer，使用 Vision Transformer。

将Transformer应用于计算机视觉的首次探索是在Vision Transformer (ViT) 中进行的。他们做出了重要的贡献，为图像开发了合适的基于补丁的标记化方法，使Transformer架构能够用于图像。DeIT进一步改进了训练过程。本研究旨在通过优化用于图像分类的transformer来弥补这一空白，使用的视觉transformer如图1和2所示。傅里叶域在提取基于频率的图像信息分析方面起着重要作用，并已得到学术界的充分研究。我们假设，对于图像领域，频谱和多头自注意力都起着重要的作用。我们引入 SpectFormer，一种结合了谱注意力层和多头注意力层以提升性能的新型架构。

3. 直觉：SpectFormer 的概念基础

SpectFormer集成了傅里叶神经算子，特别是谱层，与多头注意力模块，以优化周期性和非周期性信号的变换。谱层在傅里叶频谱域中操作，从而促进对周期性信号的线性变换的有效学习。它包含一个偏置项，用于非周期性信号变换。多头注意力机制，作为残差流内的独立变换，能够实现高效的信息处理。值向量，源自于前一个残差块，与注意力向量结合，为每个头的输出令牌做出贡献。这种双重方法通过查询-键和值-输出向量子空间变换来管理信息。通过在谱层和多头注意力模块之间交替，SpectFormer有效地学习周期性和非周期性信号的最佳变换，从而实现增强的性能。

3.1 混合谱变换器的经验证据：

为了评估基于表征对性能的影响，进行了一项实证研究，比较了全注意力层、全谱层和混合谱-注意力层。还探讨了谱层排列方式，即它们是初始层还是后续层（被称为逆SpectFormer）。表4中的结果表明，先使用初始谱层，然后使用多头注意力层的配置尤其有利。这一经验证据突显了SpectFormer的自适应性，从而引导提出一种架构，该架构包含初始的谱层，然后是更深层的多头注意力层。我们的多头自注意力层与原始注意力论文类似。我们表明，与LiT等并行架构相比，SpectFormer实现了最先进的性能，并且优于GFNet和AFNO 等完整的谱架构。它在ImageNet 1K数据集上的表现也优于像DeIT这样基于完整多头注意力机制的Transformer模型。

4. 方法：SpectFormer

SpectFormer架构结合了频谱块的最佳特性，该频谱块使用了谱门控网络(Spectral Gating Network, SGN)和注意力块，如图-3所示。

4.1. 谱块：谱门控网络

对于给定的输入图像X及其对应的频域转换X，在X上进行的频域门控操作可以等效地表示为在X上的空间域全局卷积。这种等效性表达如下：

其中 ∗ 表示循环卷积，W 和 B 分别表示频域中的复数权重和偏置，而 W 和 B 表示空域中的权重和偏置，并且 F 表示离散傅里叶变换 (DFT)。输出 DFT 操作是一个复数值 X ∈ R^N×D，并使用谱门控网络 (SGN) 与复数权重矩阵 W ∈ R^D×D 和复数偏置 B ∈ R^D 结合。SGN 可由以下公式表达：

此处，hℓ ∈ RN×D表示最终输出，ℓ表示第l层，而σ是激活函数。考虑到X和W均为复数，通过采用复数的乘法规则来扩展方程(2)。扩展后的公式如下：

此处，Wℓ = Wrℓ + jWiℓ和Bℓ = Brℓ + jBiℓ分别代表实部和虚部。频域中的门控网络，记为SGN，分别计算频率分量的实部和虚部。随后，将这些部分堆叠起来形成一个复数，最终结果通过连接实部和虚部获得。最后，我们进行逆离散傅里叶变换（Inverse DFT transformation），将数据从频域转换回空间域。

因此，SGN 的运算，记为 X W + B，等价于空间域中的运算 (X ∗ W + B)。这表明频域中的门控操作可以解释为空间域中的全局卷积。

4.2. 谱块：SGN作为卷积核

目标是从有限的观测输入输出对{aj, uj}N j=1中学习无限维空间之间的映射，其中函数F将空间A映射到空间U。这可以表示为F : A × Θ → U，或等价地Fθ : A → U，其中θ ∈ Θ。

SpectFormer的光谱层是傅里叶神经算子的一个特例，它使用光谱层将实数输入转换为实数输出。输入a ∈ A通过局部变换P投影到更高维度的表示v0(x) = P (a(x))，该局部变换通常由一个浅层全连接神经网络参数化。然后应用多次更新 vt 7→ vt+1。最终输出 u(x) = Q(vT (x)) 是使用局部变换 Q : Rdv → Rdu 对 vT 进行投影的结果。每次迭代的更新 vt 7→ vt+1 都涉及一个非局部积分算子 K 和一个局部的非线性激活函数 σ。迭代更新定义为：

核积分算子 K 定义为：

其中κϕ是由ϕ ∈ ΘK参数化的神经网络。这里κϕ扮演着核函数的作用，从数据中学习它。现在，核积分算子被傅里叶空间中定义的卷积算子所取代。令F表示函数f : D → Rdv的傅里叶变换，而F−1表示其逆变换，则

对于格林核 $K(s, t) = K(s-t)$ 的特殊情况，该积分导致全局卷积。通过在（5）中应用 κϕ(x, y, a(x), a(y)) = κϕ(x − y)，并应用卷积定理：

傅里叶积分核定义为：

其中 Rϕ 是由 ϕ ∈ ΘK 参数化的周期函数 κ : D¯ → Rdv×dv 的傅里叶变换。

4.3. 注意力模块

Transformer模型的注意力头由Query-Key (QK) 和Output-Value (OV)组成。Query-Key (QK) 在计算查询和键令牌之间的注意力分数方面起着至关重要的作用。注意力头中每个令牌的表示是通过将权重矩阵WQ和WK应用于输入序列X来导出的，从而产生查询向量qi = WQxi和键向量ki = WKxi。然后，使用 softmax 运算计算这些向量的点积来获得注意力分数，表示为 A = softmax(qT · k) = softmax(xT ·WQT ·WK ·x)。另一方面，输出值 (OutputValue, OV) 决定了每个 token 的信息如何影响输出 logits。值向量 vi = xi · WV 是通过将权重矩阵 WV 应用于输入序列而获得的。最终的token表示，记为

这是通过基于注意力模式线性组合值向量来计算的，如公式7所示。注意力头的本质在于从指定token的残差流中提取相关信息，并将其传递到与另一个token相连的残差流。这涉及两个步骤：第一步提取信息，第二步传输信息，从而促进模型内部的信息流动。

4.4 SpectFormer模块

SpectFormer模块统一了两个基本组成部分：注意力表示，R（来自公式(7)），以及频谱表示，V（来自公式(4)）。这种集成表达如下：

此处，Rt 代表来自公式 (7) 的注意力累积，而由 a 和 ϕ 参数化的核函数 K 促成的谱变换作用于先前的表示 vt。SpectFormer 能够熟练地处理周期性和非周期性信号，超越了在 GFNet 中观察到的局限性。虽然GFNet侧重于在傅里叶频谱域中转换周期性信号，并包含一个用于非周期性信号的偏置项，但我们的方法通过多头注意力块引入了一种用于非周期性信号的非局部转换。因此，SpectFormer中频谱层和多头注意力块的结合对于有效学习周期性和非周期性信号转换至关重要。

5实验

1）图像识别任务中ImageNet1K 数据集上各种视觉骨干的性能

2）SpectFormer与ImageNet-1 K上具有不同网络大小的类似Transformer架构的性能比较

3）各种视觉模型在COCO val2017数据集上的性能，用于目标检测和实例分割的下游任务

4）迁移学习数据集的结果

更多「小小cv笔记」精彩内容，欢迎点击「阅读原文」

SpectFormer：频率和注意力才是Vision Transformer中所需要的(WACV2025)