AI-VPU,开启视频压缩新篇章

原创来源:半导纵横发布时间:2026-07-19 12:04
作者:半导纵横
安谋科技
AI
生成海报
既让人类看清世界,也让AI看懂世界。

视频正在经历一场深刻的角色转变。过去,视频编码技术服务于人类的主观视觉体验,解决的是手机存储空间不足、朋友圈传输卡顿的问题。但随着AI与视频的深度融合,视频不再是仅供人眼欣赏的内容,而是成为AI推理和训练的数据原料:人形机器人的视觉感知、自动驾驶的环境理解、机器狗的实时导航,都需要高质量视频作为输入。一旦视频质量有损,AI的推理精度和训练效果将受到严重影响。这意味着,VPU的设计理念必须从“为人眼服务”转向“为机器服务”,AI正打开面向机器的视频压缩新维度。

安谋科技VPU研发总监黄鑫博士表示,在AI时代,视频的角色发生了根本性逆转:从“生产者”到“消费者”。 过去,AI主要参与视频的生成和加工(AIGC、视频编辑);现在,AI成为视频的主要“消费者”,人形机器人用视频数据进行推理,自动驾驶用视频训练感知模型,视觉单元用视频理解物理世界。视频成为连接物理世界与虚拟世界的桥梁,数据质量直接决定AI系统的性能上限。

人眼对压缩伪影的容忍度与机器完全不同。某些对人眼几乎不可见的压缩损失,可能导致AI模型将行人误判为路牌、将障碍物识别为背景。因此,编码优化目标必须从“人眼友好”转向“机器友好”,在压缩率和AI任务精度之间找到新的平衡点。

安谋科技“玲珑”VPU产品线沿着这一理念持续迭代,形成了清晰的技术演进路线。今年年初发布的“峨眉”VPU,首次将轻量级AI算子集成进视频编码单元。其核心技术分为两层:第一层做浅层图像云处理,第二层做深度语义解析,两层数据共同灌入编码器,驱动编码决策。

明年年初即将发布的“武当”VPU,在继承“峨眉”智能感知编码技术的基础上,实现了三个维度的跃升:一是PPA全面升级,支持8K30fps编码,性能满足各类AI应用需求;面积较上一代节省40%。二是规格大幅扩展,支持YUV422编码,适配专业摄像场景;支持Raw Data压缩,省去轻度转换环节,更好地服务AI训练;支持高达1Gbps码率,精准匹配人形机器人等Physical AI场景的高带宽需求;三是编码质量再突破,全面继承“峨眉”的灵活可配置特性,在不规则运动场景等AI应用关键场景中,额外实现5%-10%的编码质量提升。

“峨眉”和“武当”解决了当下的AI应用需求,但技术演进并未止步。安谋科技正在研发下一代端到端视频编码技术,从两个维度突破现有边界:一是智能CAE技术、局部优化技术拓展到端到端的全局最优方向;二是所有的编码以人眼主观视觉为主的优化,并拓展到不同的AI应用上。

技术框架上,在训练阶段引入前置网络,结合虚拟编码器和特定AI应用,通过反向传播进行联合训练,最终达到特定任务的最优优化结果。在部署阶段,前置网络直接优化并与玲珑VPU编码器耦合,形成真正意义上的任务感知编码器,实现压缩率与AI精度的最佳平衡。

黄鑫透露,目前的技术已在目标追踪和动作识别任务上取得10%以上的编码质量提升,且对机器视觉极为友好。未来将进一步泛化网络架构,引入前置网络和后置网络,通过多模态参数配置,最终实现人眼主观视觉与AI特定任务的双向提升——既让人类看清世界,也让AI看懂世界。

此内容为平台原创,著作权归平台所有。未经允许不得转载,如需转载请联系平台。

评论
暂无用户评论