存储架构逻辑，HBM为何无可替代？

在2025年12月举行的国际电子与材料会议（IEDM）期间，全球最大的硅晶圆代工厂台积电举办了一场技术讲解，展示了其最新的封装技术。

想要理清人工智能与高性能计算系统的运行逻辑，首先要读懂其核心的内存/存储层次结构，这套体系由多种差异化的内存与存储技术搭建而成，各类技术在访问延迟、输入/输出带宽以及存储容量三大核心指标上各有优劣，而系统的核心运行准则，就是将频繁访问的关键数据，存放在低延迟、高输入/输出带宽的高速内存中，以此保障算力高效运转。在整套内存层级里，速度位居榜首的是SRAM技术，作为性能顶尖的内存载体，它主要被应用于处理器寄存器、L1/L2缓存以及标签内存等核心算力模块，承担着最即时、最高频的数据读写任务，是系统算力响应的核心支撑。

紧随SRAM之后、速度位列第二的则是基于DRAM技术的HBM高带宽内存，凭借出色的带宽与延迟表现，它成为了高端人工智能与高性能计算系统中的主内存，扛起核心计算场景下的数据调度重任。再往下则是DDR/LPDDR DRAM技术，这类内存的速度略逊于HBM，在高端AI与HPC系统中，它作为第二层主内存辅助HBM完成数据存储与调用；而在中端AI与HPC系统中，受成本、性能适配性等因素影响，它会直接升级为第一层主内存，成为核心算力载体。

在高速内存层级之外，便是常规存储技术的应用范畴，同样遵循着速度分层的逻辑。其中第一层存储为固态硬盘SSD，这类存储设备采用NAND闪存作为核心介质，兼顾了读写速度与实用性，是衔接高速内存与大容量存储的关键；第二层存储则为机械硬盘HDD，依托磁性磁盘作为存储介质，主打大容量存储属性。纵观整个内存/存储层级结构，始终存在着速度与容量的核心权衡关系，这也是整套体系的底层逻辑：高速内存技术虽然读写快、延迟低、带宽充足，但往往受制于技术与成本，存储容量相对有限；而大容量的内存与存储技术，虽然能够承载海量数据，却在访问速度、带宽表现上远不及高速内存，二者相互配合、各司其职，才构建起适配AI与高性能计算需求的完整存储体系。

过去11年，HBM存储容量增长了6倍，带宽增长了9.8倍

在高端AI与高性能计算系统的内存体系中，HBM高带宽内存占据着核心主存地位，想要深入理解这套存储架构，就需要细致拆解HBM的技术原理、迭代升级与核心特性。HBM的核心设计理念十分明确，一方面通过大幅拓宽输入/输出信号的总线宽度保障超高带宽，另一方面借助专用DRAM芯片的垂直堆叠模式拓展内存容量，其物理总线宽度最高可达1024位，对应1024个输入/输出电极，带宽换算下来更是单个输入/输出电极数据传输速率的128倍，凭借这一设计实现了远超常规内存的传输性能。从硬件结构来看，单个HBM模块主要由底层逻辑基片芯片，以及堆叠在其上的专用DRAM核心芯片构成，历经多代技术迭代，核心芯片的堆叠数量实现了稳步提升，初代HBM1、HBM2与HBM2E仅堆叠4个或8个核心芯片，到HBM3、HBM3E世代升级为8个或12个，最新的HBM4世代更是增至12个或16个，芯片堆叠数量的增长直接带动了存储容量的跨越式升级，从HBM1/2世代单模块最大8GB，一路攀升至HBM4世代的最大48GB，容量足足提升了六倍。

除了存储容量的拓展，HBM的传输性能也在持续突破，单个输入/输出电极的数据传输速率实现了大幅飞跃，从第一代HBM1的2Gbit/s，一路提升至最新HBM4的10Gbit/s，速率直接提高五倍；同时HBM4的总线宽度也完成翻倍，达到2048位，对应2048个输入/输出电极，再结合电极间距缩小、电源电压降低等配套优化，HBM4的整体带宽相较上一代HBM3E直接提升2.5倍，完美适配了高端AI与HPC系统日益增长的算力传输需求。

从技术发展来看，HBM的迭代路线清晰可循，目前最新商用世代为HBM4，HBM4E及后续产品还处于预估规划阶段，而提升HBM带宽的核心技术路径，始终围绕提高单电极传输速率、优化电极布局、拓宽总线宽度等方向展开，这也是其持续领跑高端内存市场的关键。

HBM的高性能表现，离不开核心的封装技术支撑，硅通孔TSV技术更是其关键特性，无论是核心DRAM芯片还是底层逻辑芯片，都集成了数量超千个的TSV，这些硅通孔贯穿整个芯片，且在芯片横截面中全部集中于中心位置，这样的布局并非随意设计，而是经过严谨考量的最优方案。

从公开的芯片布局图纸中能清晰看到，TSV区域居于芯片中心，外围仅布设布线线路，晶体管与无源元件都与TSV区域保持间距，核心目的就是减轻TSV带来的芯片失真影响，保障内存运行的稳定性；不过TSV技术也存在一定短板，虽说能实现芯片间超短距连接，却会牺牲硅面积利用效率，降低存储密度。此外，当前HBM模块的供应商数量极少，行业集中度极高，这也使得HBM的市场售价远高于其生产成本，成为相关供应商营收与利润的核心增长点。