论文题目

Incremental Object Keypoint Learning

1简介

目标关键点估计的现有进展主要得益于传统的监督学习范式，该范式基于大量标记有预定义关键点的数据。然而，这些经过良好训练的模型很难在测试时间内检测到未定义的新关键点，这在很大程度上阻碍了它们在不同下游任务中的可行性。为了处理这个问题，探索了各种解决方案，但仍然受到有限的可推广性或可移植性的影响。因此，本文提出了一种新的关键点学习方法，即只在新数据中标注新的关键点，并增量地训练模型，而不保留任何旧数据，称为增量对象关键点学习（IKL）。训练辅助KA-Net以基于它们的空间和内在解剖学关系将旧关键点自动关联到这些新关键点。在第二相互促进阶段中，基于面向关键点的空间蒸馏损失，共同利用辅助KA-Net与旧的知识整合模型，以相互促进所有新旧关键点的估计，由于对新旧关键点之间的相关性进行了研究，提出的方法不仅可以有效地减轻旧关键点的灾难性遗忘，而且甚至可以进一步改善旧关键点的估计，并实现超越抗遗忘的正迁移。这种观察已经通过在不同关键点数据集上的大量实验得到了可靠的验证，在减轻遗忘问题和提高性能方面表现出优越性，同时即使在低拍摄数据状态下也能享受标记效率。

本文中提出以一种增量学习 (IL) 的方式创造性地解决新的关键点估计问题。如图 2 所示，提出了一种增量对象关键点学习 (IKL) 范式，以增量方式训练一个关键点估计器，该估计器仅在新关键点标记的新数据上进行训练。即使不保留任何旧数据，IKL模型也不应灾难性地遗忘旧的关键点。与同时标注新旧关键点或学习独立估计器的朴素解决方案相比，IKL仅标注新的关键点，并在整个生命周期内仅维护一个模型，这在计算上是高效的。此外，与UKL和CAPE不同，UKL和CAPE的性能很大程度上受限于其对固定预训练模型的有限可迁移性，IKL通过持续训练模型以充分扩展其对新定义的关键点的知识来缓解这个问题，甚至可能在学习更多相关的新关键点时提高旧的关键点估计。最后，由于大多数增量学习（IL）领域的研究主要集中在分类任务上，据我们所知，增量关键点回归（IKL）作为一个增量关键点回归任务，此前鲜有研究，这为增量学习提供了新的见解。

然而，IKL也带来了一个新的挑战，即标签非共现（label non-co-occurrence, LNCO）。由于新数据中只标注了新的关键点，新旧关键点之间的运动学和解剖学约束并没有在标签空间中明确呈现，这使得模型难以在增量训练过程中捕捉到这种物理先验。现有的增量学习方法没有显式地对增量关键点学习中的这种关键点间关系进行建模，因此新旧关键点预测无法相互支持，并且可能容易偏向新的关键点，从而加剧对旧关键点的遗忘。

为了应对IKL的挑战，提出了一种新颖的两阶段学习方案，称为KAMP，作为专门为IKL设计的新基线。在第一个知识关联阶段，训练一个辅助的KA-Net，以基于新旧关键点的生理连接（由它们的空间邻接性表示）来关联它们。具体而言，KA-Net学习预测与相关新关键点对应的被选中的旧关键点，以获取它们内在的解剖学相关性。在第二个互促阶段，在所有关键点上训练新模型，以相互促进它们的估计，其中旧的关键点通过从KA-Net和旧模型中提炼知识来更新，并采用新设计的面向关键点的空间知识蒸馏损失，以更好地保持知识。为了验证有效性，基于医学图像和自然图像上的四个关键点数据集模拟了IKL，即Cephalometric、Chest、MPII和ATRW 。大量结果表明，KAMP不仅可以有效缓解旧关键点的灾难性遗忘，甚至可以进一步提升它们的性能，因此显著优于现有的无样本增量学习方法，并且也适用于小样本场景。分析进一步表明，IKL与诸如CAPE之类的学习范式互补，并且对于新的关键点估计具有标签高效性。

贡献有三方面：

（1）建立了一种新的范式，即增量式目标关键点学习（Incremental object Keypoint Learning, IKL），以应对新关键点估计的挑战性需求。（2）提出了一种两阶段的无样本IKL方法，以显式地建模和利用旧关键点和新关键点之间的关系，从而帮助缓解专门针对IKL的标签非共现问题，这可能会进一步提高旧关键点的性能，超越遗忘问题。

(3) 作为概念验证，通过实验证明，IKL在新的关键点估计任务中扩展预训练的关键点估计器是实用且标注高效的，并且优于其他替代范式。

2背景

作为计算机视觉中的一项基本任务，估计物体的视觉关键点位置是支持众多下游任务不可或缺的先决条件，例如，物体姿态检测，跟踪，动作识别，生成和动画等。长期以来，监督关键点学习（SKL）极大地促进了关键点估计的进展。通过利用大规模的纯2D关键点数据集[5, 51]及其极大的方差，SKL旨在训练一个深度神经网络，使其能够在测试图像中稳健地检测一组预定义的关键点。

然而，SKL模型无法估计对象新增的未定义关键点，而下游任务的新需求将不可避免地需要新的关键点。通过现有关键点数据集训练的模型只能检测 19 个关键点，以支持头影测量分析中的 Downs 分析，但它们对于重要的分析（如 Steiner 分析）是不可行的，如图 1 所示。这个问题促使最近的 MICCAI 挑战赛注释更多的关键点，以支持不断增长的分析。然而，关键点标注非常耗时，尤其是在关键点按顺序定义时。另一种替代方案是为每组新的关键点训练单独的新的关键点估计器，如图 2 所示。然而，估计器的数量将线性增加，并且单独的训练策略将使每个估计器容易过度拟合新的关键点，并且难以捕捉新旧关键点之间的内在关系，从而导致次优性能。

为了缓解上述问题，提出了无监督关键点学习（UKL）用于新的关键点估计。模型首先以无监督的方式进行预训练，以随机预测关键点的数量，然后学习线性变换以将现有的关键点转移到新的未定义的关键点。然而，UKL仅对具有相对刚性运动的物体或具有一致的物体实例以及外观和运动的局部变化的视频数据有效。因此，由于大规模纯2D数据集中背景、外观以及不同对象实例的运动存在极大的图像间差异，很难对它们执行UKL 。最近，一种基于监督度量学习的范式，名为类别无关姿态估计 (category-agnostic pose estimation, CAPE) 提出，用于学习一个类别无关的姿态估计器，该估计器可以在测试时使用少量标记的支持样本来估计未见过的关键点。然而，由于模型在预训练后被冻结，CAPE 受限于其在新定义的关键点上的泛化能力和迁移能力的限制。

3. 增量式对象关键点学习

3.1. 问题表述

将t=0表示为初始步骤，t=1, . . ., T 表示为增量步骤。那么，第t个增量步骤的训练集为Dttrain=xtrain t,j , yt,jtrain N j=1t，其中x, y, Nt表示输入、关键点标签以及Dttrain的大小。由于我们仅在IKL中标记新的关键点，因此新引入的关键点必须与旧的关键点不相交，即yttrain ∩ ∪t i=0−1yitrain = ∅。与分类任务不同，关键点估计的常用做法是回归关键点的2D热图，即围绕真实关键点位置[78]的高斯峰。因此，IKL中的模型mt包括特征提取器ft和卷积关键点估计头部的堆叠{Gi}t i=1，它们分别由θt和{ϕi}t i=1参数化。每个估计头部以一个卷积层结束，以生成2D热图。Gt 表示第 t 步中新关键点的估计头。ft 和 {Gi}t i =1 在模型 mt 中由旧模型 mt−1 中的相同权重初始化。

3.2 KAMP：一种用于IKL的新型基线方法

本节将提出两阶段方法KAMP，作为一种为IKL量身定制的新基线。将相关的新旧关键点之间的关系提炼到模型中，可能有助于模型隐式地捕捉内在的物理先验，从而缓解标签非共现问题。为此，在阶段 I 中，设计了一个辅助预测任务，通过 KA-Net 将相关旧关键点与新关键点关联起来。在阶段 II 中，旧模型 mt−1 和 KA-Net 都被冻结，以便将知识提炼到新模型 mt 中，用于所有旧关键点，同时新关键点也被学习，以实现相互促进。图 3 提供了一个 KAMP 的示意图。

3.2.1 第一阶段：知识关联（KA）

IKL中的新旧关键点没有联合标注，这使得模型难以仅使用新关键点的标签来学习关键点之间的关系，例如它们的结构和解剖学相关性。为了缓解这个问题，提出将空间和解剖学上相关的旧关键点和新关键点之间的约束建模为当前增量步骤 t 中的一个隐函数。现有分析表明，关键点关联可以通过三角测量约束很好地建模。受此启发，定义了一个三角测量约束F于三个相关关键点的分布：

其中P (Ki)表示关键点i的分布，并且该元组可能包含一个或两个新的关键点。然而，由于可能存在多个满足隐函数F的有效解（约束），因此在IKL中推导出F的解析解具有挑战性。

因此，考虑一种替代公式，例如，P (Koj ) = F (P (Kn1), P (Kn2))，它是公式1的一个特例，在此公式中将旧关键点P (Koj )的分布建立在其相关的新关键点P (Kn1)和P (Kn2)的条件之上。关注于两个新的关键点，因为只有它们具有真值标签，并且真值监督可以帮助减少学习约束中的不确定性。此外，在实践中，新的任务通常需要不止一个新关键点来支持。为了增强这个约束，将相关的新旧关键点之间的条件概率建模为一个辅助预测任务：

其中 KA 代表知识关联网络 (Knowledge Association Network, KA-Net)。这个辅助任务的灵感来源于这样一个事实：空间上相邻且视觉上相关的关键点可以相互预测，正如许多现有研究所展示的那样。

KA-Net。KA-Net的输入是图像i的新关键点Kn1和Kn2的真实热图(yi,gtn1和yi,gtn2)，输出是旧关键点Koj的预测热图y˜i,j。vi表示图像i的整体视觉特征v，由从冻结特征ft−1中提取的中间特征组成，并重新缩放到与yi,gtn1和yi,gtn2相同的空间大小。视觉特征vi与空间信息(yi,gtn1和yi,gtn2)一同被纳入考虑，因为在2D图像中，仅凭空间坐标不足以确定关键点的位置，这是由于相机角度、物体外观和运动等因素导致的不确定性。通过整合视觉特征，提供了额外的上下文信息，有助于解释关键点关联中的这种不确定性。

本文探索KA-Net最简单的构建方式以最小化其训练成本：对于每个新的关键点，首先执行其真实热图(yi,gtn1和yi,gtn2)与整体特征vi之间的逐元素乘法，以获得面向关键点的空间特征。然后将空间特征连接起来，并通过三个卷积层进行前馈，同时伴有批归一化（Batch Normalization，BN）和ReLU，以预测选定的旧关键点Koj。请注意，训练好的KA-Net仅用于在第二阶段提炼关键点关联，并且在IKL之后的测试时不会使用。

KA-Net的训练。使用新的数据Dttrain来训练KA-Net。由于Dttrain没有旧关键点的真实标签，使用旧模型mt−1预测的伪标签来监督KA-Net进行关键点回归：

其中，KKA表示用于辅助预测任务的选定的旧关键点，yˆi,jt−1表示mt−1对图像i的第j个关键点的预测，y˜i,j表示KA-Net的预测。

辅助任务创建。为了选择用于训练KA-Net的旧关键点，在每个增量步骤中，首先根据语义定义在通用对象解剖图上定位所有旧的和新的关键点。然后通过简单的距离计算（例如，欧几里得距离）来测量它们的相对接近程度，以识别出两个接近旧关键点Koj的新关键点(Kn1和Kn2)。这个过程也可以通过多模态大型语言模型（如GPT-4o）实现自动化，如图3所示。如果识别出几个满足要求的旧的和新的关键点元组，会随机选择一个元组来创建辅助预测任务，以避免训练过多的KA-Net。任务创建不需要任何训练，并且我们只需要在每个步骤之前执行一次，这非常高效。这种设计提供了一种可解释的方式，将物体的物理知识融入其中，以指导IKL。

3.2.2 第二阶段：互促 (MP)

在第二阶段，通过损失函数 lMP 联合优化新模型 mt 上的所有新旧关键点：

其中，ℓGT表示新关键点真实值与其新模型预测值之间的L2损失，用于获取新关键点的知识。α是一个超参数，用于平衡新关键点的获取和旧关键点的遗忘。对于ℓKA，使用冻结的KA-Net作为辅助教师来监督在第一阶段选择的旧关键点，以提炼关键点关联知识。由于ℓKA仅应用于所选的旧关键点进行知识转移，而不是缓解遗忘，进一步通过使用冻结的旧模型mt−1的损失ℓKSD来巩固所有旧关键点的知识。由于IKL中新旧数据的分布不会发生剧烈变化，甚至可能具有很强的相关性，因此LWF可以作为 ℓKSD 在这种场景下的基线。一般来说，ℓKSD 表示新模型对所有旧关键点的预测，yˆit−1∈RC×H×W，与旧模型，yˆit∈RC×H×W，的预测之间的负对数似然 N1t PN i t s yˆit−1 · log s (yˆit)。s(·)表示Softmax算子。C表示在第t步之前学习到的旧关键点的数量，H和W分别是每个关键点热图的高度和宽度。

然而，由于LWF及其变体都专注于分类任务，它们默认情况下在不同的类别上执行Softmax，即在C维度上，以获得归一化的类别预测分数。对于IKL，这意味着对所有旧关键点的预测进行归一化，这不能显式地规范旧模型和新模型之间每个旧关键点的差异。为了更好地保留特定关键点的知识，对关键点预测的高度 (H) 和宽度 (W) 维度采用空间 softmax 操作，sd sp(·)，d ∈ {H, W}，并将它们组合起来以鼓励空间导向的知识蒸馏。
ℓKSD被定义为

4实验

1）Result of 4 datasets after 2-Step, 5-Step, 5-Step and 4-Step IKL for Chest

2）与Split Head-2023上的少样本方法进行比较

3）Split Head-2023和MPII的定性结果

更多「小小cv笔记」精彩内容，欢迎点击「阅读原文」

KAMP:增量式目标关键点学习(CVPR2025)