算力下沉，安谋科技如何解端侧AI困局？

随着大模型从云端大规模下沉终端，一场面向“万物AI”的芯片底层革命正在悄然发生。2025至2026年，十亿级（1B）参数端侧小模型已稳定达成MMLU 60分商用及格线。这意味着过去只能依托云端万卡集群运行的AI推理能力，如今得以轻量化落地至终端嵌入式芯片。安谋科技“星辰”CPU产品线产品负责人朱晓鸣表示：“终端普惠的万物AI时代离我们越来越近了。”

不过，端侧AI并非算力无上限的应用场景，功耗、时延、存储等多重资源约束，对芯片底层设计提出了更高要求。如何在极低功耗、资源受限的前提下最大化释放AI算力，成为当前嵌入式产业亟待解决的核心难题。针对端侧AI落地痛点，安谋科技形成了成熟的异构解决方案：依托Helium向量扩展强化CPU通用算力、搭配Ethos NPU补齐矩阵推理短板，让轻量化终端设备高效释放本地化AI性能。

趋势之变：从“连接万物”到“认知万物”，AIoT完成价值迭代

传统物联网（IoT）的核心价值是连接万物，仅实现设备联网、数据上传；而AIoT（人工智能物联网）的核心升级是认知万物，实现了从“被动数据采集”到“主动智能决策”的跨越。过往端侧设备只是单纯的数据采集终端，所有分析、决策、响应均依赖云端完成；如今搭载端侧AI能力的智能设备，可在本地独立完成感知、推理、响应的全流程闭环，真正具备本地化智能交互与自主进化能力。

在朱晓鸣看来，四大核心驱动力，共同推动IoT向AIoT的深度变革。第一，数据原生在端侧。所有物理世界的感知数据均由终端设备直接采集，端侧是真实场景数据的唯一入口，具备天然的数据采集优势；

第二，数据隐私与主权需求倒逼本地计算。用户实时行为、环境感知等敏感数据若全部上传云端，存在隐私泄露风险，本地化推理可最大限度规避数据上云带来的安全隐患；

第三，实时交互场景对低时延强刚需。云端大模型依托思维链推理存在秒级延迟，无法适配人机交互、实时感知、智能控制等场景，端侧AI的低延时、自主性优势无可替代；

第四，终端硬件低功耗轻量化约束。海量IoT终端、嵌入式设备多为无源、低功耗设计，仅支持毫瓦级持续工作，要求芯片在极低功耗下保持常态化感知与轻量AI运算能力。

基于上述行业变革趋势，新一代端侧AI芯片必须同时具备三类核心算力能力：一是Always-On常驻算力，支撑低功耗、全天候的轻量感知监测；二是CPU通用逻辑算力，保障设备控制、业务调度、逻辑决策等基础能力；三是专用AI加速算力，高效处理复杂的神经网络推理任务。这也决定了，端侧AI产业的核心命题，是在资源受限与性能渴求之间找到极致平衡。

技术之道：三大技术路径，破解端侧资源受限困局

针对端侧AI功耗低、资源少、算力需求高的核心矛盾，安谋科技梳理出三条差异化技术落地路径。第一，CPU向量指令增强。在通用计算基础上，通过Helium向量扩展指令，大幅提升CPU在音频、图像、轻量AI推理场景的并行计算效率；

第二，异构NPU算力解耦。搭配通用小算力NPU分担矩阵运算压力，分离通用控制与AI推理任务，解决CPU矩阵计算效率低、算力不足的痛点；

第三，存内计算。针对端侧主流SRAM存储架构优化存内计算方案，极致提升轻量化AI算法的运算能效比。

在Arm原生技术生态基础上，安谋科技结合国内AIoT产业需求，打造了本土化、高适配的嵌入式AI完整解决方案，构建了“星辰”CPU+Helium矢量扩展+Ethos NPU的AIoT原型平台，第一代平台选择STAR-MC2（即Cortex-M52）和Ethos-U55，代号“星辰300”。

目前，安谋科技星辰CPU已迭代三代产品，分别为STAR-MC1、STAR-MC2、STAR-MC3。其中STAR-MC3是目前支持Helium技术中面积最小的CPU IP，面向AIoT智能物联网领域，为主控芯片及协处理器提供核芯架构。朱晓鸣在现场透露，“第四款产品正在紧锣密鼓的设计中，相信明年应该可以和大家见面。”

Arm Helium是Arm Cortex-M CPU处理器内置的矢量扩展技术，像一个“软件可编程的加速器”，让CPU更高效地处理向量计算。它支持固定长度为128-bit的向量能力，在此基础上，安谋科技为了更好的处理端侧AI任务，额外增加了将近150条指令。基于Armv8.1-M架构的Cortex-M52、Cortex-M55和Cortex-M85 CPU都集成了Helium技术，产品性能也较Armv7-M架构产品有大幅提升：在音频编解码场景下，对比于Cortex-M4，具备Helium技术的Cortex-M52、Cortex-M55以及Cortex-M85的性能表现分别提升了30%、50%以及65%；而在机器学习推理的表现上，Cortex-M55与Cortex-M85较Cortex-M7均实现显著提速。

Ethos NPU产品主要是为了给端侧芯片和设备提供足够的算力补充，当CPU被控制、调度任务占用或矩阵推理效率不足时，NPU独立承接AI推理任务。截至目前，安谋科技推出了三代Ethos产品，分别是Ethos U55、Ethos U65和Ethos U85，可以提供从64 GOPS到4 TOPS之间的算力。

在此基础上，针对嵌入式AI场景，安谋科技进一步构建“星辰”CPU+Helium矢量扩展+Ethos NPU的AIoT原型平台，代号“星辰300”，全面支持主流小模型，从传统MCU拓展出AI算力，为嵌入式设备加上AI引擎。目前，安谋科技在FPGA平台上搭建了“星辰300”系统，已经跑通人脸探测、语音识别、关键字检测和图像超分等用例。

结语

AI产业正在完成一次关键迁移：从过去数百亿参数大模型只能云端运行，到如今1B级小模型规模化落地端侧；从IoT时代的设备联网，到AIoT时代的设备自主认知。端侧AI普惠浪潮已然到来，安谋科技以“星辰 CPU+Helium+Ethos NPU”的清晰技术路线，让嵌入式设备在有限的功耗和算力下尽可能多的释放AI计算潜力。