从训练到推理，AI存储层级迎来范式变革

人工智能行业重心正快速从模型训练转向推理部署，2026年上半年，英伟达、谷歌等头部AI厂商相继推出专为推理场景打造的芯片；Cerebras、SambaNova、Etched等AI专用芯片初创企业也陆续发布新品、达成战略合作。产业重心切换的同时，存储层级体系正迎来结构性变革，各大硬件厂商纷纷布局HBF、SSD整机柜存储单元、片上静态随机存储器SRAM，以此突破传统高带宽内存HBM在容量与带宽层面的性能上限。

AI模型训练阶段存储需求

AI训练指利用训练数据集，让人工智能模型学习新能力的过程；AI推理则是将训练完成的模型运用于全新数据、生成输出结果的过程。两个阶段对存储规格的需求截然不同，因此近些年存储架构呈现快速多元化发展态势。

AI训练与推理流程示意图

以当下主流Transformer架构为例，模型训练流程主要分为三步。一是前向传播：各网络层权重从存储读取至计算芯片裸片，通过大规模矩阵运算输出预测结果；随后损失函数将预测值与标准答案比对，计算误差损失值。二是反向传播：依据链式求导法则，逐层读取前向传播过程临时保存的激活值，计算与权重维度一致的梯度数据。三是优化器参数更新：读取梯度数据后，模型更新并回写权重参数，同时写入两组与权重尺寸相同的优化器状态张量（一阶动量m、二阶动量v）。

模型需要循环执行以上三步，不断降低损失值直至模型收敛，因此存储访问速度是决定训练效率的核心要素。

高带宽内存HBM正是顺应这一需求诞生：多层DRAM垂直堆叠，通过硅通孔TSV实现互联。传统DRAM依靠传输速率有限的PCIe总线连接（PCIe6.0x16单向带宽仅128GB/s），而HBM与计算裸片并排封装在同一中介层上，大幅缩短数据传输路径。单组HBM堆叠带宽可突破2TB/s（HBM4单引脚单向速率超1GB/s，总计2048个引脚），极大推动人工智能产业落地。

在AI训练时代，存储层级新增HBM层级，填补了片上SRAM与传统DRAM之间的性能空白。

AI模型推理阶段存储需求

AI推理流程主要分为两大阶段：一是预填充阶段（Prefill），并行一次性处理输入提示词，逐层计算键值向量并存入存储（即KV缓存），同步生成首个输出字符。二是解码阶段（Decode），从KV缓存中读取键、值向量，逐一生成输出字符；同时持续将新计算出的键值向量写入缓存，直至完整输出回答内容。

解码阶段需要反复对KV缓存执行逐字符读写操作，且对话轮次、上下文窗口长度、批处理规模越大，KV缓存占用容量就越高。仅依靠HBM已无法匹配持续增长的推理算力需求，存储容量与带宽并列成为两大核心性能瓶颈。

适配AI训练的存储架构已发展成熟，但伴随测试时扩展技术兴起，AI推理存储架构才刚刚迎来高速发展期。各大厂商仍在持续测试多种存储解决方案，存储层级体系正处于范式变革阶段。

为解决KV缓存持续扩张带来的大容量存储需求，闪存厂商闪迪与SK海力士于2025年8月宣布达成合作，联合研发高带宽闪存HBF。该产品多层NAND闪存垂直堆叠，通过硅通孔TSV互联。单组HBF堆叠预期带宽可达1.6TB/s，容量约512GB，是HBM容量的十倍及以上（16层堆叠HBM4单组容量仅48GB），填补了HBM与传统大容量DRAM之间的空白。

目前HBF尚未实现量产，多家厂商同步采用KV缓存卸载技术，将访问频次较低的KV缓存下放至下层存储，缓解大容量缓存存储压力。在此背景下，英伟达于2026年提出SSD整机柜存储单元（SSDPOD）概念，补齐本地固态硬盘与共享存储之间的层级缺口。

值得一提的是，除HBF与SSD整机柜存储单元外，多家推理专用ASIC初创企业引入高速SRAM，突破HBM的速度上限。例如Groq、Cerebras均采用大面积片上SRAM，大幅提升模型解码速度。

产业重心由训练转向推理，存储架构迎来变革

2026年上半年，推理算力需求持续爆发。英伟达宣布将Groq LPX芯片整合进Rubin系列产品，预计于2026年内上市；同期推出上下文存储平台CMX与Vera CPU整机柜。

谷歌也发布专为推理场景设计的TPU v8i。对比面向训练场景的TPU v8t，该芯片搭载的HBM3e容量提升72GB，片上SRAM扩容384MB。

除两大行业巨头外，2026年上半年多家深耕推理专用芯片的AI ASIC初创企业动作频繁：SambaNova于2026年2月推出第五代芯片SN50；Cerebras在2026年4月递交IPO招股书，并与OpenAI、亚马逊云AWS达成合作；Etched则在6月官宣旗下Sohu芯片已在台积电完成流片。

AI训练时代存储方案几乎由HBM独揽，反观当下推理场景存储路线百花齐放，未来存储层级的设计方案还将持续多元化。