算力靠近存储，解决不了AI推理所有难题

从数据中心内的AI训练转向边缘端AI推理，这就要求我们重新从根本上思考数据在何处处理、如何存储，数据优先级如何设定，以及在功耗预算受限的前提下，需要在功耗与性能之间做出哪些取舍。

这些探索的核心共识是：数据的爆发式增长，尤其是物理AI场景下，传感器持续流式回传数据，要求大部分数据尽可能在靠近存储的位置完成处理。早在物联网诞生之初，这个话题就已经被讨论，但真正随着AI发展获得广泛关注，是因为海量数据涌入，以及大家对数据搬运、处理所需功耗的担忧。举个例子，在动力电池汽车和无人机上，数据处理耗费的能量越少，单次充电后的续航就越长，更多电能可以分配给核心功能以及非核心功能。

难点在于分清哪些数据需要留存、哪些可以丢弃、哪些需要立刻做出响应。这几类数据的优先级完全不同。做出这些判断需要先进的处理能力，而兼顾低能耗、低延迟的最优方案，就是尽量缩短数据在处理器与存储之间的传输距离。

楷登电子（Cadence）产品管理群组总监Frank Ferro表示：“大模型落地到物理设备的现实情况，迫使所有人重新思考存储架构设计。就算只看传统存储，还不谈存内计算，我们也要思考如何拆分模型，最大化处理器与存储子系统整体的性能。”

想要解决这些问题，需要多种全新技术路线，例如近存计算（PNM）、存内计算（PIM），同时还要在多项技术上持续迭代优化。编译器、操作系统需要跟上发展节奏，相关标准也亟待建立。

Ferro称：“过去两年，所有人的目光都聚焦在数据中心AI以及各类大语言模型上。如今这些模型已经训练完成，部署到实地、网络边缘以及物理AI场景。现实情况是，边缘场景的算力和存储资源都十分有限。”

边缘AI推理，和在数据中心训练AI模型面临的挑战截然不同。

Quadric首席营销官Steve Roddy说：“训练过程的内存访问模式变化极大，大多依托解释型代码，比如从Python到PyTorch，这就需要多层存储之间复杂的一致性机制。但推理阶段，运行模式会发生巨大变化。不管是数据中心里运行的超大大语言模型，还是本地部署的模型，例如车载端小型大语言模型或者视觉 - 语言 - 动作模型（VLA），模型在运行前就已经确定。这意味着数据访问模式是预先可知的。这正是提前编译技术可以充分发挥近存计算、存内计算、内存内计算（IMC）方案优势的地方。系统能够提前明确算力任务在何时、何地、以何种方式执行。不需要算力模块去猜测：在另一块存储子系统中的数据是否被修改过，因为整套系统调度方案，早在AI推理模型编译时，就已经提前规划好，可能提前数小时、数天甚至数周。”

AI推理流水线里，不同环节从近存方案中获得的收益不一样。

Expedera首席科学家、联合创始人Sharad Chole表示：“把算力放到DRAM内部或者DRAM附近，会带来很有意思的变化。数据通信模式被改变：激活值传到存储，而不是存储里的数据送到计算单元做激活计算，这直接改变了数据传输量。这类方案适合小批量解码场景。比如Batch=1，做解码、不需要读取全部权重的场景。但如果切换到追求成本优化的大批量解码，或是大批量执行的预填充阶段，激活值的数据传输就会变成瓶颈。我们可以从这两个角度去理解。归根结底，要把计算任务拆分成不同类型：受存储容量约束、受带宽约束，或是受批处理规模约束的任务。”

无论采用哪种方案，让算力靠近数据，都可以减少数据搬运耗时与能耗。在同一个存储封装内实现计算（定制HBM），或是在同一块存储裸片上实现计算（LPDDR6-PIM），能够带来两大核心优势。楷登电子（Cadence）产品营销总监Kos Gitchev说：“第一点就是性能。假设SoC内部有一颗CPU或者计算核，每次运算都要访问存储，就会发起一次请求：从存储读取数据，数据先进入SoC内的缓存，再从存储返回缓存，最后送到处理器。这套流程本身会耗费大量时间。”

所以，即便芯片架构师可以让SoC内部算力快速运行，SoC依然要等待数据送达。Gitchev表示：“存内计算很大程度上解决了这个问题。现在可以直接下发指令：对存储里这一块数据执行运算，我只需要读取最终结果。省去反复读取、计算、写回的整套流程，最后只需要读一次结果。”

图1：存算一体、存内计算、近存计算对比 —— 计算发生位置以及各术语释义。注：硬件领域中CIM与IMC经常混用，指代直接在存储阵列内部完成计算的架构；但IMC在软件领域另有独立含义。

减少数据搬运

想要这套架构落地，整套系统都需要针对性优化。

Baya Systems首席商务官Nandan Nayampally说：“行业思路已经转变，不再是‘我们需要更多存储’，而是‘需要一套互联架构，保证存储供给稳定，同时不挤占其他数据流带宽’。最近更进一步，变成‘如何围绕资源稀缺本身做架构设计’。”

其他业内人士也持相同观点。Arteris产品管理与营销副总裁Andy Nightingale表示：“AI系统的瓶颈越来越多地集中在算力、存储、加速器、芯粒、裸片之间高效搬运数据的能力上。这说明互联架构、存储架构，和存储器件本身同等重要。这也凸显了可扩展片上网络（NoC）、芯粒技术、缓存一致性、系统映射技术的价值，这些技术可以帮助客户在流片之前，就完成数据搬运的优化。”

在边缘场景，互联链路、缓存策略、封装方案的重要性持续提升，但要在选对方案组合的同时控制成本，难度很高。新一代高带宽存储支持在多裸片堆叠结构的基底裸片上集成更多计算单元；而LPDDR6-PIM将计算切片放在DRAM存储体旁，根据成本考量，它或许会是更有吸引力的选择。

SK海力士高级副总裁、院士Hoshik Kim表示：“近存计算依旧使用外部通道接口。但把计算单元放在存储数据附近，能够大幅削减数据搬运量，提升能效。同时，它可以分担CPU或GPU的计算任务，提升主机CPU、GPU的利用率。”

典型应用方案会在基底裸片内集成存储控制器。Kim称：“我们正在集成实用的近存计算单元，用来分担简单的乘累加（MAC）运算。推理负载里绝大多数运算都是基础乘累加。因此我们可以在基底裸片内置乘累加单元，配合GPU完成复杂度更高、算力密集的任务。”

长达数年的落地进程

部分所需技术已经成熟可用，还有一部分需要数年研发迭代，性能提升到可用水平之后才能产生价值。

Ayar Labs产品管理总监Vishal Chandrasekar说：“我们预计存算相关应用会在3–5年内逐步落地，大概在2030年前后。目标是实现多GPU互联，让不同GPU可以互相访问对方的存储。行业一直在提升单GPU的存储容量，但会受限于数据包大小、HBM带宽等约束。存算一体是一条可行路线，让存储的基底裸片具备一定算力。”

不过这项技术距离商业化还有距离。楷登电子的Ferro认为：“现在说它已经大规模上市还为时过早。或许有一些非常特定的嵌入式场景已经在用某一类存内计算，但大范围普及还处在早期阶段。”

各类存内计算方案正从研究走向商业化。例如三星已经公布面向低功耗移动端端侧AI的LPDDR6-PIM芯片架构与性能基准。

是德科技（Keysight）存储解决方案项目主管Randy White表示：“LPDDR-PIM是JEDEC内部关注度最高的方向，相关开发和讨论正在推进，但硬件、软件层面都存在挑战。硬件上，它把逻辑工艺和DRAM工艺整合在一起，两类工艺的优化目标完全不同，这会让制造流程更复杂、成本更高。选型必须非常谨慎，确认应用场景能够承担新增成本。”LPDDR6-PIM的应用场景覆盖追求性能的固定节点边缘服务器，以及追求能效的手机、平板。

软件难题比硬件更棘手？

软件层面的挑战甚至更加艰巨。White谈到：“如何处理负载不均衡、实现负载均衡？举个例子，棋盘式存储阵列或者计算核，每隔大约10列存储单元，就嵌入一条纵向逻辑切片。把这块PIM裸片放到显微镜下，就能看到棋盘结构，每隔若干行就重复排布逻辑切片。这种结构本身就存在时序约束。当访问某一行存储时，必须等待计算引擎完成指令运算。所以它不只是读取数据、平衡不同存储体访问时序的问题；现在存储访问和计算任务的等待流程耦合在一起。这套方案的核心优势就是减少数据搬运，数据只在相邻单元之间传输，硬件层面可以降低功耗。但对于编写BIOS、开发同步调度器的工程师来说，系统复杂度会急剧上升。”

设计PIM架构时，必须评估它对系统其余部分带来的影响。White说：“硬件要针对性设计优化，配置合适的计算系数等资源；存储分区方式也要合理，不能划分得过细，在分区粒度上做好取舍。”

图2：近数据计算想要发挥潜力，必须攻克的问题。

除此之外，存储编程模型仍未定型，尤其是PIM、CIM、CXL分层存储、异构存储这类新型存储体系不断涌现。

Rambus院士、杰出发明家Steven Woo说：“行业很难统一成单一编程模型和一致性实现方案。过去40年，业内已经落地了多种编程模型、一致性协议、一致性模型，给系统设计者和应用开发者提供不同取舍方案。多样化的架构与一致性方案，要求开发更多高性能库，让程序员调用通用函数，底层按照不同硬件做优化。高性能库保留抽象层，提升程序可移植性和性能扩展性，程序员不需要吃透底层硬件所有细节。”

编译器与存储控制器考量

想要支撑全新存储架构，离不开软件层面的创新。

SK海力士的Kim表示：“现在已经不再讨论PIM方案是否可行，它已经是既定方向。真正的难题是搭建软件编译器框架与系统软件，整个生态都需要配套跟上。”

楷登电子的Gitchev也认同这个观点：“当前系统的设计逻辑，是编译器、操作系统全部配合SoC内部的处理器核或者加速器，所有任务都由处理器完成，整套基础设施都是围绕这个逻辑搭建的。而现在，我们可以把一部分计算任务卸载出去，下发指令：这个运算交给存储来完成，不需要处理器参与。这就需要一整套配套基础设施，涉及软件层面。操作系统和处理器需要具备判断能力：一部分运算可以下发给存储执行，最后取回结果；另一部分运算依然要在本地执行，因为对应的存储不支持该运算，或是系统本地执行效率更高。”

芯片内部同样需要标准化。Gitchev说：“如何把各个模块互联起来？目前从处理器到SoC互联网络、再到存储的事务协议里，还没有成熟的机制下发‘在存储内部执行运算’这类指令。这套基础设施还不存在。我们需要硬件和协议支持下发运算指令，同时依靠软件、操作系统做调度，判断哪些任务卸载到存储更高效。”

这本质上对应两类数据流。Ferro解释：“一类是常规数据流，负责存储、读写；另一类是计算数据流，而操作系统和处理器原生并不支持这类数据流。这就需要处理器厂商、处理器与互联架构的接口、整个系统、操作系统多方协同调整。改动幅度可大可小，但如果没有统一标准，各家的系统都会高度定制化。”

主代理单元与存储控制器

近存、存内架构会给流量管理、系统一致性带来新压力。

Rambus的Woo解释：“传统硬件一致性系统里，主代理单元（home agents）负责跟踪系统内共享数据的使用位置，保证各个计算单元拿到正确的数据副本。硬件一致性让程序员不用手动在各个计算单元之间同步数据，简化编程。锁、屏障这类同步原语，以及软件一致性机制，给应用提供更高层级的数据更新控制能力。软硬件机制配合，支撑高效算法设计，保留硬件抽象层，屏蔽底层硬件细节，降低编程难度，保障系统数据一致性。”

这也意味着软件工程师需要越来越懂硬件，硬件工程师同样需要理解软件。

Woo称：“随着问题规模扩大、计算单元数量增加，想要获得可扩展的高性能，难度持续上升。主代理单元帮程序员省去一致性管理的负担，但主代理单元为维持一致性发出的消息，本身也会成为性能瓶颈。程序员需要理解底层硬件结构才能拿到理想性能。算法经常要做分片改造，最大化任务之间的独立性，减少系统内一致性流量。部分系统放弃硬件一致性机制反而能拿到最优性能，但会大幅提升编程难度。”

存储控制器面临双重挑战。Gitchev说：“第一部分是存储子系统，包含物理层（PHY）和控制器。控制器是执行指令的核心。过去指令很简单，核心就是读、写数据，虽然控制逻辑复杂，但顶层功能就是高效读写。现在新增了需求：需要一套全新指令和规则，下发指令让存储内部完成乘法、除法等运算。给控制器新增指令本身不算巨大难题，我们可以扩充指令集，优化执行效率。”

第二个挑战更难。Gitchev说：“处理器需要能够发出这类新指令，还要提前在存储子系统内做好准备：如果要把两组数据相乘，确认数据已经放在正确位置、结果写入位置无误、运算完成。控制器会承担一部分管理工作，但它必须和整个系统紧密协同。”

热效应、物理约束与CIM

近存计算可以降低数据流量，但也会放大原有物理层面问题，例如散热难题。

Vinci全球现场应用与解决方案负责人Satish Radhakrishnan说：“存储资源紧张，一部分原因来自现有存储的设计方式与使用模式。创新设计可以降低单任务存储需求、提升利用率。提升存储利用率的主流方案，包括更高堆叠层数的HBM、定制HBM、近存计算、存算一体、基于芯粒的解耦架构，都有一个共同点：把带宽瓶颈转化成物理瓶颈。算力和存储堆叠得更近，热量会集中在最难散热的位置。异质材料堆叠、微米级互联结构会带来热机械应力与翘曲问题，这些效应不受裸片、封装、电路板边界限制。热量不会止步于芯片，相关约束也是如此。”

正因如此，存储厂商往往会在推出新架构的同时配套新散热方案。例如SK海力士推出集成式HBM（iHBM），在HBM封装内部嵌入集成冷却元件（ICE）；美光最新路线图包含带热感知设计、PHY上方配备散热片的垂直HBM（vHBM）；三星也推出多种方案解决散热，包括混合铜键合（HCB）、热通路模块（HPB），计划搭载在HBM5产品上。

SK海力士的Kim提出，可以利用存算一体降低HBM基底裸片的发热。他说：“DRAM堆叠在逻辑层上方，DRAM对温度非常敏感；而逻辑电路很容易产生热点。热点基本出现在存储底层，散热会是一大难题，必须解决。存算一体是可行方案，它功耗极低，可以放在基底裸片也就是存储底层。”

实际落地中，IMC/CIM可以适配定制HBM4或者HBM4E，因为它的基底裸片采用晶圆厂逻辑工艺制造，原生支持SRAM，可以在上面搭建SRAM型CIM宏单元。CIM直接在SRAM阵列内部完成乘累加，权重不需要反复在存储和独立乘累加单元之间搬运。数据搬运是能耗的主要来源，这也是SRAM CIM宏单元的能效（每瓦运算数）远高于传统数字加速器的原因。单次运算能耗更低，功率密度随之下降，DRAM下方的热点问题也会缓解。

结语

软件配套，是近存硬件兑现技术价值的关键短板。对于编译器、AI框架来说，近存计算、存内计算是新兴目标架构，开发者可以直接把数学算子卸载到存储子系统，但支撑这套转变的软件体系还在追赶硬件发展。

不同架构能提供的算力、算力上限各不相同。LPDDR6-PIM一般只搭载乘累加单元或者简单算术逻辑单元，适合矩阵向量乘、逐元素运算；定制HBM4/HBM4E逻辑工艺基底裸片可以增加更多存储控制功能。但这种灵活性存在散热上限：可集成的算力规模，取决于它在DRAM下方新增的发热量。

楷登电子的Ferro提到：“过去两年我们花了大量精力研究定制HBM，以及如何利用它的基底层。”

AI推动算力向存储靠近，但仅仅缩短算力和存储的距离，并不能自动带来性能收益。这项技术想要大规模落地，需要把负载和硬件匹配、做好热管理，同时给编译器、操作系统提供工具，用来判断哪些任务适合卸载到存储。算力迁移只是解决方案的一部分，让整套系统高效调度、用好这套硬件，才是下一道考验。