近年来，以 SAM 和 SAM2 为代表的视觉基础模型极大提升了图像与视频中物体分割的精度和效率。然而，它们更多聚焦于“定位”与“分割”，缺乏对区域内容的深层语义理解——也就是说，模型能告诉你“这是哪里”，但当被追问"具体描述下这架飞机？"、"这里的数字16是什么意思？"呢？

Image Demo 2

要让模型具备图像与视频中区域级视觉理解能力，该如何做？我们都知道SAM擅长"找位置"，CLIP精于"说含义"，常规的做法均是通过视觉提示赋予 VLM 区域理解能力。

如下图所示，首先是文本编码法，将二维坐标转换为自然语言字符串输入，语义输出单一仅类别或短描述。；然后是视觉提示编码法，通过额外模块嵌入区域图像与位置特征；最后是检测/分割编码法，依赖外部掩码生成器拼接图像与掩码特征。

有没有可能让一个模型同步完成"分割-识别-解释-描述"全流程，实现图像与视频中区域级视觉理解的全面能力？

除了今天讲的这篇文章外，上篇中提到的复杂目标的区域分割，用一句话实现区域的描述，感兴趣的可自行查阅DINO、CLIP、SAM这些大模型组件！构建文本引导新范式。

一、感知一切模型PAM

香港中文大学的研究团队提出了 Perceive Anything Model (PAM) ，一个集识别、解释、描述与分割于一体的视觉语言模型框架。它不再只是“画框框”，而是能真正“看懂”图像，并用自然语言表达出来。

通过将大语言模型与强大的分割模型SAM2相结合，在完成对象分割的同时，生成多样化的区域专属语义输出，包括类别标签、定义阐释、功能说明及详细描述。其核心组件语义感知器能够高效转换SAM2富含通用视觉、定位与语义先验的特征，将其编码为多模态token供LLM理解。

给定点、框或掩码等视觉提示，PAM可同步完成：(1) 分割：在图像/视频中生成精准区域掩码；(2) 识别：判定指定区域类别；(3) 解释：阐明区域定义、属性及上下文功能；(4) 描述：为图像/视频/视频流中的区域生成简洁或详细的文字描述。

二、区域级流式视频描述数据集

为了训练 PAM 实现多层次的语义理解能力，研究团队构建了一个包含：150万图像区域标注与60万视频区域标注的高质量数据集，涵盖区域定义、功能解释、详细描述等多种标注形式。

特别是创新性地包含了区域级流式视频描述任务，即在视频播放过程中，持续跟踪特定区域并生成实时文本描述，这对于动态场景理解具有重要意义。

PAM 还展现出卓越的推理效率，推理速度较现有方法提升1.2-2.4倍，并且在图像和视频处理中需要更少的 GPU 内存，凸显了其适合在实际应用中高效部署。

PAM 的提出标志着视觉理解正从“整体感知”走向“区域感知”，从“静态识别”走向“动态解释”。正如作者所言：我们相信，PAM 将成为未来区域级视觉理解研究的重要基线。开源代码链接如下：

# 论文链接
https://arxiv.org/pdf/2506.05302
# 代码链接
https://perceive-anything.github.io/

如果你也在探索视觉与语言融合的技术路径，欢迎关注我们，获取更多前沿 AI 技术解读与实战应用案例分享！最可公众号后台私信‘加群’进入视觉大模型交流群或者多模态大模型交流群！

视觉大模型 · 文章推荐

视觉大模型、代码教程及案例年度精选：2024年度回顾与索引指南

更多「码科智能」精彩内容，欢迎点击「阅读原文」

对标SAM2 + LLM融合版！港中文开源感知一切模型与百万级图像描述数据集：识别、解释、描述、分割一体化输出