AI推理，正在创造新的存储需求

“人工智能的存储体系，将彻底颠覆传统存储系统。”2026年6月GTC Taipei上，英伟达创始人兼首席执行官黄仁勋指出，存储系统是AI基础设施建设中难度最高的环节之一。这一挑战既包括智能体工作内存的键值缓存管理，也涉及结构化与非结构化数据检索、数据本体构建等工作。

为应对AI推理时代激增的键值缓存存储需求，英伟达于2026年1月推出CMX上下文存储平台，由BlueField-4 DPU负责管理。该平台在本地固态硬盘与共享存储之间，增设了机架级上下文存储层级。

与此同时，智能体人工智能的兴起也正在重塑中央处理器架构。黄仁勋表示，AI智能体对时延要求达到纳秒级别，每一次等待都会阻碍任务推进，因此超低时延成为核心指标。目前英伟达与Arm均推出面向AI智能体定制的机架式CPU方案，行业设计思路正从侧重吞吐能力转向侧重低时延，也为CPU内存市场开辟了增量空间。

推理时拓展“深度思考”：单轮输出令牌量年增速超5倍

根据英伟达公开数据，自2024年下半年起，大模型单轮问答的平均输出令牌量每年增幅超过5倍，目前已达到约3万至4万个。这意味着行业正式迈入英伟达三大缩放定律中的推理时拓展（Test-time Scaling）深度思考阶段。单轮问答令牌输出量大幅增长，直接推高了内存与算力资源的需求。

AI推理场景下，AI芯片及整机系统的硬件需求，与模型训练场景存在本质差异。推理业务对硬件提出三大核心要求：一、更高的每秒查询数；二、更长的上下文窗口；三、更多推理步骤与AI智能体循环。以上变化均引发存储需求的结构性调整。下文将从模型参数权重、键值缓存、AI智能体三大维度展开分析。

模型参数权重

模型参数权重是AI模型内部存储的数值参数。模型加载后，参数权重会占用固定内存，属于静态内存分配。模型参数量越大，权重占用的存储空间就越高。

模型权重总容量计算公式：

模型权重总容量=参数量×单参数占用字节数（Total Size of Model Weights = Parameters × bytes per parameter）

键值缓存（KV Cache）

键值缓存用于存储推理预填充阶段生成的键值向量，可避免解码阶段重复计算，属于动态内存分配。随着推理任务的对话长度、批处理规模不断增加，键值缓存的内存占用也随之水涨船高。

键值缓存总容量计算公式（单位：字节）：

键值缓存总容量=2×网络层数×键值头数量×单头维度×序列长度×批大小×计算精度（字节）（Total Size of KV cache (Bytes)= 2 x number of layers x number of KV heads x head dimension x sequence length x batch x precision (bytes)）

键值缓存卸载拉动固态硬盘机架需求

对话长度与批处理规模持续扩大，导致键值缓存占用空间急剧增长，缓存的管理与分层部署成为AI推理应用的关键。在长上下文、大批次任务中，若显卡高带宽内存容量不足，系统只能清空原有键值缓存、重新执行预填充计算，不仅增加时延，还会抬高整体拥有成本。

针对该问题，英伟达于2025年3月推出Dynamo键值缓存卸载软件。该软件将低频访问的键值缓存，迁移至带宽更低、容量更大、成本更优的层级（CPU内存、固态硬盘），确保解码阶段可重复调用缓存数据，无需重新运算。

Dynamo可搭配英伟达2026年1月发布的CMX上下文存储平台使用，后者专为承载长上下文任务产生的海量键值缓存设计。该平台基于BlueField-4 STX机架搭建，单台机架搭载64颗BlueField-4 DPU（16个计算托盘，每个托盘配置4颗DPU），整体容量约9600太字节，在本地固态硬盘与共享存储之间构建起机架级上下文存储层。

注释：固态硬盘机架（SSD POD）是由多组硬盘机架组成的独立存储单元，专门存放卸载后的键值缓存。该层级介于本地固态硬盘与共享存储之间，存储容量优于本地固态硬盘，读写速度则高于共享存储。

AI智能体：CPU与内存需求同步走高

AI推理应用不断普及，也推动AI智能体落地提速。在智能体运行流程中，模型需要自主规划、调用工具、做出决策并代用户执行操作，以上流程均依靠CPU完成调度、工具调用、数据转发与子智能体评估工作。

受此影响，AI智能体场景下CPU与GPU的算力配比，将从传统的1:4、1:8逐步趋近1:1，为CPU市场带来显著增量，同时拉动配套CPU内存需求。

2026年，英伟达推出专为AI智能体打造的VeraCPU。按原始规格，该芯片最高支持1.5太字节LPDDR5X内存，容量为上一代GraceCPU的三倍。

补充说明：集邦咨询最新调研显示，英伟达决定将新一代VeraRubin超级芯片模组的SOCAMM内存容量减半。此次调整并非源于整体存储需求下降，而是受上游厂商2027年初步产能规划影响，低功耗DRAM供给分配不足所致。

除英伟达外，全球CPU赛道也全面提速。2026年，传统x86架构厂商英特尔、AMD相继推出新品，分别为至强6+、EPYC Venice；Arm发布面向通用人工智能的AGI CPU；Ampere的AmpereOne MX也将于年内量产。2026年已成为面向AI智能体的CPU全面迭代之年。

总结

AI推理正在催生两大全新存储需求增长点：第一，推理任务带动键值缓存规模快速扩张，键值缓存卸载技术将海量缓存数据分流至CPU内存与固态硬盘机架。随着英伟达、谷歌等企业陆续推出相关硬件平台，固态硬盘机架市场需求将持续上行。第二，AI智能体推动CPU与GPU算力配比趋近1:1，CPU市场迎来大幅增长，进而带动CPU内存需求同步攀升。