HBM不靠堆带宽，高效访存才是性能关键

假如把内存系统想象成早晚高峰的高速公路。道路通行容量有限时，车流会迅速拥堵，同一时间能通过的车辆数量存在上限。拓宽车道确实能提升通行能力，却未必能让通勤一路顺畅。如果车辆持续大量涌入高速、出口规划不合理，或是车辆需要长距离行驶，拥堵依旧会出现。增加车道虽有帮助，但整套系统的运行效率，终究取决于车流调度是否高效。

内存系统也面临着诸多相似难题。高带宽内存（HBM）让先进AI加速器与高性能片上系统（SoC）得以快速传输海量数据集。

带宽充足也会存在性能瓶颈

这正是内存层级架构发挥价值的地方。即便系统总吞吐率很高，带宽决定数据传输总量，延迟则决定系统响应速度。但单纯提升内存带宽，并不能彻底消除数据传输时延。每一次读写外部内存的往返操作都会占用时间，计算单元只能空等，形成空闲周期，最终演变为性能瓶颈。

当数据读取调度不合理时，即便HBM拥有充足带宽余量，系统仍会存在诸多低效问题：数据复用率低、内存访问模式无规律、计算裸片频繁向外发起内存请求。

一个切实可行的解决思路：将更多可重复使用的数据存储在芯片内部。末级缓存（LLC）便是为此而生，它部署在计算单元与外部内存之间，如图1所示。CPU、GPU、NPU及各类加速器通常都自带本地缓存，用来降低高频数据的访问延迟。但当数据需要在多个计算单元间共享，或是超出小型本地缓存容量时，末级缓存作为公共缓存层，可优先响应数据请求，避免请求直达外部内存。

下图演示末级缓存如何通过降低内存延迟、减少带宽占用、降低功耗，提升整机系统性能。

图1：末级缓存将复用数据就近存放至计算单元旁。（来源：Arteris）

若所需数据已存于片上缓存，计算单元就无需耗时访问外部内存，缩短等待周期，同时减少片外数据交互量。HBM负责承载大数据集所需的高吞吐传输；在搭载HBM的系统中，末级缓存通过减少对外内存请求次数，提升数据局部性。

高效释放HBM硬件潜力

下表列举内存层级中三类典型存储介质。GDDR5、HBM3E、用作末级缓存的片上静态随机存储器（SRAM）在现代SoC的数据传输链路中各司其职，横向对比能清晰体现各类方案的取舍利弊。

表1：各层级内存在SoC数据通路中的定位。（来源：Arteris）

Arteris推出的CodaCache是一款可配置末级缓存IP核，面向复杂SoC设计。它帮助研发人员在处理器件与外部内存资源之间搭建高性能缓存层。CodaCache部署在末级缓存通路，介于上游片上网络数据流与下游内存访问通路之间，依托片上SRAM实现缓存存储，核心作用是把高复用价值的数据就近存放在数据请求单元周边。

该方案十分适配复杂SoC：多计算单元数据复用需求不一、访问模式零散、对延迟敏感、多单元争抢内存资源等场景，都会拖累整体性能。在此类场景下，把更多数据访问需求留在片内，能够缓解外部内存子系统的负载压力。

缓存层在芯片内部处理更多数据请求，高效调度数据流转，保障整机性能稳定。图2对比缓存命中与缓存未命中两种场景：命中时仅走短距离片内通路；未命中则必须访问外部内存。Arteris的仿真分析显示，搭载末级缓存后，系统平均内存延迟可从83纳秒降至67纳秒。配套示意图分别展示原生SoC平均延迟构成、搭载末级缓存后的延迟路径，区分命中、未命中两条通路及各环节时延数值。

图2：缓存命中可省去耗时更长的外部内存访问流程。（来源：Arteris）

上图直观体现末级缓存对内存子系统的性能增益：缓存命中率达到25%，就能将平均内存延迟降低20%以上。可见即便只是中等缓存命中率，也能显著提升系统响应速度与内存访问效率。

不止降低延迟，更能削减功耗

缓存命中的短通路设计同样具备功耗优势，核心在于减少直达外部内存的访问次数。每一次HBM数据交互都会调动整套内存子系统硬件，持续频繁调用HBM会产生大量功耗开销。

如果请求数据已存储在CodaCache中，可直接在片内完成读取：

1. 缓存命中规避不必要的HBM访问；

2. 外部内存交互次数减少，降低物理接口与内存子系统硬件启停频次；

3. 内存通路负载下降，整机系统能效提升。

在基于HBM的AI SoC中，CodaCache高命中率能够减少HBM数据流量，缩短计算单元等待外部数据返回的空闲周期。即便采用更宽的数据传输通路，读请求依旧要离开计算裸片、经过互连接口、抵达内存堆叠取回数据，再原路返回。

Arteris的CodaCache末级缓存IP核，通过降低有效内存延迟、减少内存带宽占用、减轻内存子系统负载，同步提升SoC性能与能效。这款独立末级缓存IP可搭配FlexGen智能片上网络IP、Ncore缓存一致性互连IP协同工作。

迈入HBM时代，行业竞争的核心早已不只是搭建更大容量、更宽位宽的内存通路，而是如何避免计算单元空等数据。性能顶尖的系统，未必是硬件带宽最大的那一个，而是能高效用好带宽资源的产品。