端侧AI的“不可能三角”？被这家中国芯片公司打破了

当前，AI正一往无前地从云端向各类终端渗透，各大行业巨头纷纷加码。英伟达不断迭代Agent Computer硬件方案，推动智能体脱离云端依赖，在本地硬件完成感知、规划、执行的全链路闭环；苹果依托M6系列硬件升级Apple Intelligence，将文档摘要、照片编辑等大模型能力落地端侧运算，把用户隐私保护摆在产品核心位置。智谱在天猫开设旗舰店售卖Token，这一商业化信号也反映出端侧AI的应用越来越日常。伴随AI PC本地大模型能力持续优化、Agent硬件盒子逐步走向市场，叠加具身机器人、新一代智能穿戴设备等新品类不断发展，可以看到，端侧硬件正在承接更多AI算力负载，推动智能能力向各类硬件载体、千行百业业务场景延伸。

但大模型端侧化，并不是简单把云端算力做小型移植。终端设备要同时面对功耗、散热、体积、成本、带宽多重硬性约束，既要承载持续增长的大模型参数规模，又要保障低延迟实时交互，同时守住本地数据的隐私安全，传统冯・诺依曼架构的局限性被进一步放大。面对这一组现实产业矛盾，以后摩智能为代表的先行者探索出可落地的商业化路径，存算一体技术走出实验室，迎来难得的产业发展窗口期。端侧AI的核心命题，已经从“能不能跑通模型”，转向“能不能跑得好、用得起、实现大规模商用”，2026年，正是存算一体技术接受真实产业场景实战检验的关键之年。

端侧AI需求大爆发，存储一体破解端侧算力“不可能三角”

弗若斯特沙利文的数据显示，全球端侧AI市场规模将从2025年的3219亿元，攀升至2029年的1.22万亿元，复合年均增长率达40%。规模高速扩张的背后，端侧AI产业正在经历一场深刻的范式切换。

两三年前，端侧AI更多停留在概念Demo阶段。受限于模型能力与硬件条件，终端设备仅可运行1B-2B的小参数模型；即便勉强部署7B-8B模型，多模态理解、复杂任务处理能力大打折扣，也缺少成熟芯片支撑稳定持续推理。彼时行业主流选择是端云协同，依靠云端算力弥补端侧硬件不足，但这套模式的短板，随着应用走向深度落地暴露得愈发彻底。

体验层面，网络抖动会带来推理延迟波动，地铁、厂区、野外等弱网环境下交互直接卡顿甚至失效；自动驾驶、机器人实时决策等场景要求推理延迟控制在几十毫秒以内，云端链路很难满足硬性指标。安全合规层面，文档卷宗、人脸影像、个人隐私数据上传云端，始终存在泄露风险，大量政企、工业场景明确要求原始数据不能离开本地设备。多重现实约束叠加之下，本地运行大模型，已经从产品锦上添花的加分项，转变为消费、工业、政企多类终端的刚性需求，市场催生出前所未有的端侧原生算力缺口。

成本方面，后摩智能战略生态VP，商业落地与项目交付部兼芯片算法部负责人杨大卫对半导体产业纵横表示：“如果重度使用云端大模型，用户每月推理开销可达数万元；普通职场用户每月订阅也要数百至数千元，热门开源大模型Kimi K3第二档会员每月119元，一年2388元也无法满足高频使用。如果使用端侧AI，一次性投入几千块钱就可以无限使用，还不用担心网络连接性和数据隐私安全，对于重度用户或受限用户，其性价比优势相当明显。”

随着AI模型能力的不断迭代，夯实了端侧落地基础，例如35B大模型可以在后摩M50上高效运行，能够胜任知识库问答、多模态视觉和语音任务、Agent应用场景等。此外，前不久发布的千问3.8 27B模型，虽然只有27B参数，却在大模型排行榜上跻身前20多名，排在它前面的几乎都是大几百B甚至上TB级别的满血版模型。这意味着，目前端侧有了足够强大的模型可以承接真实应用需求。软件层面，Agent智能体生态走向成熟，不再需要开发者堆砌大量人工规则，依靠模型自身就可以完成推理决策，大幅降低应用开发门槛。

虽说市场空间足够大，各类应用也在加速落地，但产业很快遇到绕不开的现实难题，端侧AI一直面临性能、功耗、成本很难同时拉满的困境。

传统冯・诺依曼架构，计算和存储相互独立。跑大模型时，模型权重、运算中间数据要在存储和计算单元之间来回传输。模型参数越大，数据来回搬运造成的问题就越明显 想要性能强，就要频繁搬运大量数据，会拉高功耗，同时需要更高规格的存储、接口硬件，推高整机成本；想要功耗低，就得压缩数据读写、计算的规模，直接压低推理速度，性能上不去，就算硬件做精简，部分定制方案物料成本依旧居高不下；想要把成本压下来，就要缩减存储、算力硬件规格，结果就是跑不动大模型，性能不足，强行跑模型还会频繁读写，功耗也会失控。

再加上终端设备体积不大，供电、散热条件本身就有限，进一步放大这套矛盾。常规GPU、NPU大多只能优先兼顾其中两项，要么性能够但耗电贵，要么功耗可控但算力弱，很难三者平衡，这也限制了端侧大模型大规模商用落地。

AI PC、Agent盒子、各类机器人等端侧设备，普遍可接受功耗区间集中在15-30W。传统GPU架构存在天然局限，起步功耗普遍80W以上，下压到30W功耗时算力会大幅缩水；想要实现100T级别算力输出，功耗往往要突破50W，很难适配端侧硬件物理约束。矛盾根源并不完全来自计算单元本身，而是传统冯诺依曼架构下无休止的数据搬运。计算与存储相互分离，推理过程中模型权重、中间张量需要反复在存储与计算单元之间来回迁移。模型参数规模越大，数据搬运带来的功耗损耗、延迟开销、带宽压力就越突出，资源受限的端侧设备进一步放大这一痛点。

存算一体技术的核心思路，就是将计算向存储位置迁移，削减海量数据搬运开销，在能效、延迟、算力密度层面形成差异化优势，精准匹配本轮端侧AI发展的核心诉求，形成天然适配。中商产业研究院数据显示，2025年中国存算一体AI芯片市场规模187.6亿元，同比增长42.3%，增速高于通用AI芯片赛道。

杨大卫在采访中透露，后摩智能旗下M50芯片已于2026年2月实现量产，芯片典型功耗仅10W，单芯片最高可支持122B参数大模型运行，打破了端侧AI的“不可能三角”，实现了性能、功耗、成本的平衡发展。多款搭载M50的整机产品已取得工信部《人工智能终端智能化分级》国标L3（辅助级）认证。

多条技术路线并行，存算一体玩家差异化竞速

存算一体并非单一标准化芯片技术，而是一整套以“缩短数据搬运距离”为核心的技术家族。按照计算与存储融合深度，行业划分为近存计算PNM、存内处理PIM、存内计算CIM三大主流分支；同时又根据存储介质、数字/模拟计算范式、三维集成方案，分化出多条差异化实现路径。不同路线在工艺门槛、算力精度、能效、成本上各有取舍，也直接决定了各自适配的业务赛道。

近存计算PNM更多依靠2.5D/3D先进封装，把计算单元和存储单元物理拉近，存储与计算仍然相对独立，改造难度低、落地快，但能效提升幅度有限；存内处理PIM则将算力模块嵌入存储芯片的外围电路，部分运算直接在存储芯片内部完成，比较适配大容量内存、云端数据流处理；存内计算CIM是当前融合程度最高的技术，也是最适合端侧AI应用场景的，直接在存储阵列内部完成乘加计算，从根源削减数据搬运，理论能效上限最高，但对存储介质、电路设计、工艺良率提出更高要求，又细分为数字CIM、模拟CIM两大范式：数字CIM精度高、抗工艺扰动强，更适配大参数大模型推理；模拟CIM极致能效突出，但受模拟噪声影响，精度存在天然约束，更适合轻量化感知任务。

目前，国内存算一体芯片行业已经形成百花齐放的格局，创业公司、存储大厂、可重构算力企业分别基于SRAM、NOR-Flash、DRAM、新型忆阻器介质推进产品迭代，覆盖从轻量IoT、可穿戴、端侧大模型到云端算力集群的全谱系场景，各家根据自身技术基因选择赛道，聚焦特定场景做商业化突破。

后摩智能选择了成熟的SRAM介质的数字CIM存算一体方案。SRAM经过CPU、GPU数十年大规模商用验证，产业链完备成熟，流片风险可控。企业把研发重心聚焦高参数端侧大模型推理赛道，也是业内率先完成30B以上、最高122B MOE模型端侧部署的厂商，旗下M50芯片仅发布7个月就已获得各行各业的认可，落地成效显著。同时，后摩智能面向下一代AI计算，启动3D CIM3D存内计算架构研发，产品计划于明年正式发布。

炬芯科技则走模数混合SRAM-CIM存内计算路线，将自研存内计算NPU集成到CPU+DSP+NPU三核异构音频SoC之内，代表产品为ATS323X系列芯片，聚焦电池供电的轻量化音频端侧场景，主打AI降噪、声源分离等语音类推理任务，目前已经在无线麦克风、无线电竞耳机等消费硬件实现批量商用落地，在音频专用存算赛道形成差异化优势。

海康威视布局数字 SRAM-CIM存内计算路线，将自研存算计算单元深度集成到自研AI SoC之内，代表产品为海康思霄系列芯片，聚焦安防边缘端低功耗AI感知场景，主打人形检测、多目标追踪、多模态事件识别等端侧推理任务，目前已经在网络摄像机、边缘AI盒子等安防硬件实现规模商用落地，在安防视觉存算赛道形成自身差异化优势。

知存科技采用NOR-Flash介质模拟存内计算路线，非易失存储特性带来突出的低功耗优势，芯片已经实现千万级出货，主攻智能穿戴、TWS耳机、轻量语音识别等轻量化终端场景，是国内较早实现规模商用的存算一体方案，产品进入多家消费电子头部品牌供应链。

恒烁半导体依托自身NOR-Flash存储主业布局CiNOR存算一体路线，瞄准智能家居、安防IoT等超低功耗轻量化边缘场景，目前芯片完成多轮流片回片与客户POC验证，尚未实现芯片规模量产，主要面向TinyML小模型感知任务开展技术迭代。

谦合益邦主打3D-DRAM堆叠近存计算，依靠“逻辑层+多层DRAM垂直堆叠”架构实现带宽跃升，芯片完成回片点亮，面向云游戏、高并发数据流场景开展工程验证。

以睿科微电子为代表，布局ReRAM阻变存算一体，该路线理论存储密度极高，但当前受良率、工艺成熟度制约，大多处于原型验证、流片迭代阶段，属于面向未来的技术储备方向，距离大规模商用尚需时间打磨。

这里需要厘清行业常见误区，3D堆叠不等于存算一体。3D堆叠解决芯片垂直维度集成，而存算一体解决“计算靠近数据”，二者属于不同技术维度。只有将存内/近存计算能力与三维堆叠相结合，才形成3D CIM、3D PIM这类复合技术方案。

纵观产业现状，能够率先跑通商业化的路线，未必理论纸面参数最亮眼，而是制造成熟度更高、应用场景定位更加清晰的那一类。不同技术路线各有所长，部分方案已经实现批量出货，其余优先适配自身赛道典型负载，整个产业处于多点开花、逐步落地的阶段。

M50落地千行百业，后摩跻身存算一体商业化第一梯队

在存算一体由技术原型走向产业化落地的浪潮中，后摩智能凭借M50存算一体芯片率先完成完整产品化与商业落地，构建起芯片硬件、整机参考方案、软件栈到行业应用生态的全栈能力，跻身国内存算一体商业化第一梯队。

杨大卫介绍，M50将离线大模型算力、多模态理解、本地隐私计算能力真正下沉到各类终端硬件，落地场景归纳为四大方向：

第一类是Agent Computer与AI-NAS，也是当前落地进度最快、热度最高的赛道。市场需要类似Mac-Mini形态，原生具备本地大模型算力的端边设备。依托M50算力底座，Agent Computer可以24小时不间断运行智能体，即便远程访问调度，全部计算任务依旧在本地闭环完成。AI-NAS结合自身存储优势，叠加M50本地大模型能力，直接对设备内照片、视频、文档做解析处理，落地智能相册、多模态检索、私有知识库管理等功能。

第二类是智能移动终端与垂直行业一体机。依托M50存算一体芯片低功耗、高能效的本地大模型推理特性，相关能力正向各类AI终端硬件深度渗透，主要落地载体集中在AI PC产品，包括联想开天M90z信创台式机、X7h信创笔记本电脑、长城N90 PRO、国科亿道FN008 AI笔记本等机型。在整机产品当中，M50可以为终端注入端侧多模态大模型运行能力，把大模型推理、图像理解、文本处理能力放置在设备本地执行，无需持续依赖云端算力，既降低网络传输开销，也保障数据不会外流出终端设备。面向信创办公、行业专用办公终端场景，终端可以实现本地文档摘要、本地资料检索、图片内容解析、离线AI助手等实用功能，让AI能力真正嵌入日常办公流程，同时满足行业对数据安全、离线可用的现实诉求。除标准化AI PC之外，M50也可适配各类行业定制一体机硬件，面向工业工位终端、政务专用设备、零售交互终端等垂直场景，提供轻量化、高可靠的端侧AI算力支撑，拓展存算一体芯片在硬件终端侧的应用边界。

第三类是具身智能。机器人业务对推理时延、数据隐私、运行成本存在硬性约束。借助M50本地大模型推理，机器人无需依赖云端网络，即可完成感知-理解-决策完整闭环，适配家庭服务机器人、工业机器人离线智能需求，数据不会对外传输；同时存算一体低功耗特性，直接转化为机器人续航增益。

第四类是边缘推理，赋能传统行业AI升级。面向政企、园区、商业综合体等边缘现场，搭载M50芯片的超融合边缘终端，把光网、存储与本地大模型算力合为一体，无需依赖云端，实现大模型Agent开箱即用，摆脱接口调用的token约束。以中国移动全光组网融合终端Promax为代表，设备集成WiFi7全光网络、安全存储与M50算力底座，最高支持120B参数大模型本地运行，服务政企文稿处理、园区视频智能分析等业务。

在商业综合体消控室改造场景中，该边缘方案对接消防主机、烟感、广播等全套物联设备，依靠本地AI加大模型完成告警二次研判，过滤大量误报。通过远程值守替代夜间双人在岗，兼顾运维降本与流程合规，项目可在半年内实现投资回收。而在中型律所智慧办公场景，融合终端搭建隔离式本地办公网络，会议智能体、案件知识库全部在本地运行，案件卷宗不上传云端，解决律所最关心的数据安全问题，同时自动输出会议纪要与待办事项，提升团队办公效率。

硬件算力只是纸面指标，软件栈决定客户能不能真正把算力用好。后摩自研后摩大道软件栈，兼容PyTorch、TensorFlow主流深度学习框架，免去手动调参、量化校准繁重工作，原生适配ARM-Linux系统，开箱即用支持Qwen、Llama等主流开源大模型，大幅压缩客户部署周期，针对性破解行业普遍的编译器碎片化、软硬件生态孤岛难题。

从实验室技术探索走向大规模商业化落地，存算一体已经积蓄足够产业势能。2026年端侧大模型浪潮，让沉淀多年的存算一体技术，与真实市场需求完成深度交汇。以后摩智能为代表的产业玩家，正在用量产芯片、规模化项目落地，把存算一体从技术概念转化为千行百业看得见的生产力。端侧AI的时代大幕刚刚拉开，存算一体的商业化故事，正翻开全新的一页。