芝能智芯出品

图形处理器（GPU）在并行计算和高性能计算（HPC）中发挥着至关重要的作用。许多顶尖的超级计算机都借助GPU来加速计算，因为它们具有大规模并行性、高计算吞吐量和出色的功率效率，这使得它们在处理诸如科学计算、图像处理和机器学习等需要强大计算能力的任务时表现出色。

GPU在内存方面存在一个瓶颈。尽管它们对于加速计算密集型任务至关重要，但GPU的高带宽内存容量通常只有几十GB，相对有限。相比之下，高端平台上的CPU内存往往达到几百GB。

为了解决这个问题，像统一虚拟内存（UVM）和数据对象卸载等解决方案被提出，它们通过利用CPU内存来扩展GPU的内存容量。

Part 1

Nvidia Grace Hopper

芯片的方案

Nvidia Grace Hopper超级芯片的出现为解决这些问题带来了新的契机。它通过一种缓存一致的互连（NVLink - C2C）将ARM CPU和Nvidia H100 GPU连接起来，在这个系统中，CPU和GPU共享一个单一的虚拟内存空间（即系统内存），并且地址转换由硬件加速。这就好比给应用开发者提供了一个更方便的工具，让他们可以更轻松地管理CPU和GPU的内存，而不需要操心太多细节。

Grace Hopper的内存子系统有一些特别之处。它有两层内存架构，CPU连接着480GB的LPDDR5X内存，GPU则配备了96GB的HBM3内存。这两个处理器通过NVLink - C2C互连连接，就像在它们之间搭建了一座高速通道，使得它们可以快速地交换数据。

在这个系统中，有两种不同的页表来管理内存。一种是系统范围页表，它就像是一个大管家，位于CPU内存中，由操作系统直接管理，负责为CPU和GPU提供虚拟到物理地址的转换。另一种是GPU专用页表，它只在GPU内存中使用，用于存储一些特定的虚拟到物理转换信息。

系统分配内存和CUDA管理内存这两种内存管理方式有什么不同？系统分配内存就像是我们日常生活中按照常规方式分配房间一样，它使用标准的方法（如C标准库函数malloc()）来分配内存，并且只依赖系统页表和操作系统来管理进程的虚拟内存空间。

当第一次使用分配的内存时（也就是首次接触），如果发现虚拟页面还没有映射到物理内存，就会触发一个小“警报”（页故障），操作系统会赶紧处理这个问题，将页面映射到物理内存，确保我们可以正常使用。

而CUDA管理内存则有点不同，它从CUDA 6.0开始出现，旨在为CPU和GPU提供一个共享的虚拟地址空间。它就像是一个智能的调度员，虽然也有两个页表（CPU和GPU各一个），但它会根据需要在CPU和GPU的内存之间灵活地调度数据。

Part 2

内存管理实验

为了更好地了解这两种内存管理方式，国外有机构做了一些实验：选择了六个具有不同访问模式的HPC应用程序，包括量子计算模拟器、一些算法等等。给这些应用程序分别使用了系统分配内存和CUDA管理内存两种方式。

通过实验发现了一些有趣的现象。在一些应用中，比如某些计算任务，系统分配内存的表现比CUDA管理内存更好。这是因为系统分配内存不需要处理太多的页故障，就像走了一条捷径，能够更快地访问CPU的内存。但在另一些应用中，CUDA管理内存又更胜一筹。

首次接触策略和页面大小对内存管理的影响。

● 首次接触策略就像是第一次见面时的打招呼方式，不同的内存管理方式有不同的方式。

● 而页面大小则会影响内存的分配和使用效率，大页面和小页面在不同的应用中会有不同的效果。页面迁移的情况。在一些应用中，页面迁移能够提高性能。比如SRAD这个应用，它使用迭代算法，通过合理的页面迁移，能够让计算变得更快更高效。

小结

Grace Hopper超级芯片的内存管理系统为我们带来了很多新的可能性。系统分配内存在许多情况下都表现出色，能够为计算任务提供更好的支持。

Grace Hopper 是如何进行内存管理？