AI加速器中，按功能分有2类：训练（HBM+LPDDR）和推理（LPDDR/GDDR）。

对于训练，HBM尤为重要，因为训练需要的带宽比推理更高。它仍然用于数据中心推理，但LPDDR和GDDR也正在获得越来越多的关注。HBM已成为近内存使用的1种流行选择,用于训练模型。训练比推理需要更多内存,所以更倾向于HBM4+LPDDR6的组合，其中LPDDR6是为了满足容量需求。

对于推理，即使能用HBM的大带宽,但GDDR和LPDDR还是将成为推理加速器卡上的主流内存。因为对于电池/功耗受限的设备，LPDDR提供了卓越的带宽与功耗平衡。手机市场对LPDDR 的大量生产，使其成为大多数以 AI为中心的新兴消费电子和便携式设备的成本敏感型选择。加上(中美)地缘问题，国内公司在AI设计中大多使用LPDDR5X，猜测未来将转向LPDDR6。

所有DRAM标准均源自JEDEC，但每种类型都有各自的委员会。

JC-42.3 负责DDR（JC-42涵盖所有固态存储器），

JC-42.1 负责标准化GDDR，

JC-42.2 负责 HBM，

JC-42.6 负责 LPDDR。

这四个委员会都在继续推进各自的DRAM产品，而LPDDR和HBM正受到更多关注。

目前,SDRAM分为4类,每类都有各自的目标用途和优缺点：

图1-不同 SDRAM 系列的比较

1）DDR

双倍数据速率(DDR )内存通常与 CPU搭配使用。程序可能包含复杂的分支和各种各样的操作，而DDR针对此类计算进行优化。DDR是最通用的架构，其延迟（第1个数据的时间）优于除 HBM 之外的所有其他类型，并且由于采用64位数据总线而具有中等带宽。

2）LPDDR

低功耗 DDR( LPDDR )与DDR类似，但它包含许多在后续版本中逐步添加的功能，以便在保持高性能的同时降低功耗。其节能特性包括：

l降低电源电压；

l温度补偿刷新率，允许在寒冷时减少刷新频率；

l深度和部分断电模式；

l部分阵列刷新选项；

l写入均衡，补偿数据选通和时钟信号之间的偏差；

l命令/地址训练以优化信号时序和完整性；

l更低的I/O电容；

l后续几代采用 6 位单数据速率 (SDR) 命令和地址总线，而不是之前的 10 位 DDR 总线；

l两条半宽总线，而不是一条全宽总线；

l差分时钟；

l数据复制和 Write-X（写入全部 1 或全部 0）命令，以减少这些用例的数据传输，以及

l差分电压和频率调节 (DVFS)。

后续几代产品包含更复杂的时钟结构，其中有一个四分之一速度的主时钟持续运行，从中衍生出多个仅在必要时运行的全速时钟。

LPDDR 并非内置于双列直插式内存模块 (DIMM) 中，而是采用 BGA 封装，直接焊接到电路板上。LPDDR 已开始渗透到各种系统中，如果它不能取代其他替代品，它可能会被添加到系统中以降低功耗。

LPDDR 是内存领域的万能者—事实上，它在某些方面堪称大师，它同时占领了移动和汽车应用领域。虽然所有memory都需要考虑散热问题，但对于HBM来说尤其如此，因为它是一个堆叠结构，而任何堆叠结构都会带来散热挑战，尤其是堆叠中间的芯片。多物理场仿真是必要的，但这需要更精确的模型。表征这种三维堆叠结构的热行为。

3）GDDR

图形DDR (GDDR)是一种配合GPU进行图形处理的变体。它拥有比DDR更高的带宽，可以向处理器传输大量图形数据，但延迟也比DDR更高。GDDR的带宽要好得多，但容量是个问题。

在 AI 系统中，GDDR 是比较少见的内存家族，它具备一些对 AI 系统有吸引力的特性，但在关键参数上往往屈居第二。

吞吐量:LPDDR <GDDR< HBM。（例如GDDR6 DRAM可达16Gbps*16bits）

成本 : DDR<GDDR< HBM/LPDDR。

目前还没有明确的参数要求某些类型的系统必须使用 GDDR。因此，GDDR 经常被 AI 系统所忽略。

似乎GDDR是 AI应用的反面教材，它总是‘不合适’。对于面向推理的消费设备来说，GDDR（相对DDR来说）价格过高，而具有离线编译功能的NPU可智能地预取权重和激活函数，这样就永远不需要GDDR更快的随机访问速度。而在数据中心，HBM的原始速度优势已经取代了GDDR。

对于高速运行的存储系统来说，不仅选择合适的内存(系统性能和容量)，还要确保高质量的访问信号。

4）HBM

高带宽内存( HBM )涉及具有非常宽总线的 DRAM 芯片堆栈，可以提供非常高的带宽和低延迟，以防止内存访问成为数据密集型计算（例如 AI 训练、AI 推理和高性能计算 (HPC)）的瓶颈。数据中心是 HBM 无可争议的领地。还没有看到HBM在数据中心之外的任何应用计划——即使是高端汽车市场也没有。打造高端SAE Level 4自动驾驶辅助系统（ADAS）的汽车公司需要采用风冷且成本低于四位数的硅片解决方案。他们无法容纳成本高达1万美元或更高的1000瓦模块。

这四种 DRAM 类型的主要区别在于访问协议，而不是存储单元。无论使用的是 GDDR、LPDDR、DDR 还是 HBM，底层的内存技术基本上都是相同的。

图 2：CPU 与 G/NPU 所采用的内存对比

看到三星的一些产品的存储系统，也是越来越多的混合内存。为了节省功耗而混合使用，比如 DDR 和 LPDDR，或者 HBM 和 LPDDR。

更多「芯嵌微」精彩内容，欢迎点击「阅读原文」

lpddr5总结（8）- DRAM的AI应用选择