Scale-Up互联之Nvidia目录：

Scale-Up互联之Nvidia：（1）通信架构发展概述

Scale-Up互联之Nvidia：（2）Nvlink原理，结构，带宽和端口数，数据包格式

Scale-Up互联之Nvidia：（3）Nvlink Switch原理，结构，带宽和端口数

Scale-Up互联之Nvidia：（4）Nvlink+Nvlink Switch构建的拓扑发展（Hybrid cube mesh->full-mesh->Clos）

Scale-Up互联之Nvidia：（5）Nvlink-Network

Scale-Up互联之Nvidia：（6）die2die构建的Multi-Chip-Module（MCM-GPU）

Scale-Up互联之Nvidia：（7）多MCM-GPU基于Nvlink+Nvlink Switch互联

Scale-Up互联之Nvidia：（8）细粒度内存访问的性能提升和延迟隐藏

Scale-Up互联之Nvidia：（9）内存池化

Scale-Up互联之Nvidia：（10）负载均衡

Scale-Up互联之Nvidia：（11）适用于GPU的缓存一致性发展

Scale-Up互联之Nvidia：（12）GPU up域下的内存序

Scale-Up互联之Nvidia：（13）GPU up域下的内存管理

1、为什么需要NVSwitch

MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive

MI300X vs H100 & H200 基准测试对比

MI300X 的 xGMI 是一种点对点结构，这意味着它 实际上并没有在 GPU 对之间提供 448GB/s 的带宽。相反，每个 GPU 只能以 64GB/s 的速度相互通信。只有当一个 GPU 同时处理所有其他 7 个 GPU 时，该 GPU 才能达到规定的 448GB/s 速度。这意味着，对于张量并行 TP=2，最大带宽为 64GB/s，而对于 TP=4，最大带宽为 189GB/s。

相比之下，由于 Nvidia 的 NVLink 采用交换拓扑结构，一个 GPU 可以以每秒 450GByte 的速度与另一个 GPU 通信。此外，H100/H200 中的四个 NVSwitch 支持网络内缩减功能（称为 NVLink SHARP (NVLS)，默认启用），这是一种通过在交换机内部执行聚合/缩减来减少数据移动的技术。

在英伟达的技术演进历程中，Pascal 架构首次引入了 NVLink，这一创新如同开辟了一条高速通道，极大地提升了 GPU 之间的通信效率。然而，真正的技术飞跃发生在下一代的 Volta 架构中，伴随着 NVSwitch 的诞生。

NVSwitch 的出现，犹如在数据传输的网络中架设了一座智能枢纽，它不仅支持更多的 NVLink 链路，还允许多个 GPU 之间实现全互联，极大地优化了数据交换的效率和灵活性。

NVIDIA NVLink 和 NVIDIA NVSwitch 为大型语言模型推理提供动力 |NVIDIA 技术博客

在点对点设计中，虽然没有四个高速交换机的系统成本较低，但每个 GPU 必须将相同的 900 GB/s 连接拆分为七个专用的 128 GB/s 点对点连接，每个连接连接到系统中的其他 GPU 之一。这意味着 GPU 的通信速度取决于正在通信的 GPU 数量。

在 30-50 个tokens/秒/用户的各种实时响应时间预算下测量的 Llama 3.1 70B 吞吐量，使用内部测量数据建模的吞吐量。H200 GPU，ISL/OSL = 8k/256。

单 GPU 配置 (TP=1) 难以实现实时性能。使用张量并行将模型拆分到两块 GPU 上，可以整合两块 GPU 的计算资源，从而在各种实时体验预算下实现高吞吐量。在 TP=2 且配备 NVSwitch 的 NVIDIA H200 GPU 上，实时推理吞吐量比未配备 NVSwitch 的同类 GPU 最高可提高 1.5 倍。

为了展示 NVSwitch 如何使 GPU 间通信流量较大的场景受益，下表显示了固定批次大小下的整体服务器吞吐量。更大的批次大小意味着可以一次处理来自更多用户的请求，从而提高整体服务器利用率并降低每次推理的成本。

随着批次大小的增加，GPU 之间的流量也会增加，与点对点拓扑相比，NVSwitch 带来的优势也随之增加。然而，即使在相对较小的批次大小下，NVSwitch 带来的收益也可能非常显著。

2、NVLink Switch端口数和带宽

NVLink 和 NVSwitch ：卓越的 HPC 数据中心平台 | NVIDIA

NV Switch 深度解析

Dio-晶：nvlink那些事……

在 DGX-1 P100 中有 8 张 GPU 卡，每张 GPU 卡支持 4 条 NVLink 链路，这些链路允许 GPU 之间进行高速通信。在 DGX-1 P100 中，GPU 卡被组织成两个 cube mesh，每个 cube 包含 4 个 GPU（GPU 0~3 和 GPU 4~7）。在每个 cube 内部，GPU 之间可以直接通过 NVLink 或通过 PCIe Switch 进行通信。然而，跨 cube 的通信（例如 GPU 0 和 GPU 4）需要通过其他 GPU 间接进行。

DGX-2 引入了英伟达的第一代 NVSwitch 技术，这是一个重要的进步，因为它允许更高效的 GPU 间通信。在 Volta 架构中，每张 GPU 卡支持 6 条 NVLink 链路，而不再是 4 条。此外，通过引入 6 个 NVSwitch，NVSwitch 能够将服务器中的所有 GPU 卡全部互联起来，并且支持 8 对 GPU 同时通信，不再需要任何中间 GPU 跳数，实现直接高速通信，这大大提高了数据传输的效率和整体计算性能。

DGX-A100 使用的是第二代 NVSwitch 技术。相比于第一代，第二代 NVSwitch 提供了更高的通信带宽和更低的通信延迟。在 A100 架构中，每张 GPU 卡支持 12 条 NVLink（第三代）链路，并通过 6 个 NVSwitch 实现了全连接的网络拓扑。虽然标准的 DGX A100 配置仅包含 8 块 GPU 卡，但该系统可以扩展，支持更多的 A100 GPU 卡和 NVSwitch，以构建更大规模的超级计算机。

DGX-H100 使用的是第三代 NVSwitch 和第四代 NVLink 技术，其中每一个 GPU 卡支持 18 条 NVLink 链路。在 H100 架构中，通过引入了 4 个 NV Switch，采用了分层拓扑的方式，每张卡向第一个 NV Switch 接入 5 条链路，第二个 NV Switch 接入 4 条链路，第三个 NV Switch 接入 4 条链路，第四个 NV Switch 接入 5 条链路，总共 72 个 NVLink 提供 3.6 TB/s 全双工 NVLink 网络带宽，比上一代提高 1.5 倍。

Pascal只有DGX-1
Volta有DGX-1和DGX-2
Ampere及Hopper只有DGX-2

nvlink2.0对应的Nvswitch1.0支持18个Port，每个port x8，IO速率25G，交换能力就是400x18 =3.6Tbps

nvlink3.0对应的NvSwitch2.0支持36个Port，每个Port x4，IO速率50G，交换能力就是400x36 = 7.2Tbps

Nvlink4.0对应的Nvswtch3.0支持64个Port，每个Port x2，IO速率100G，交换能力就是400x64 = 12.8Tbps

为什么是18？不是16 = 2^4，多余的两个Port是为IBM留着的

3、Nvlink Switch原理

NV Switch 深度解析

NVSwitch 的设计引入为英伟达创建一个完全无阻塞的全互联 GPU 系统，这对于需要大规模并行处理的应用至关重要。

第一代 NVSwitch 支持 18 路接口，NVSwitch 能够支持多达 16 个 GPU 的全互联，实现高效的数据共享和通信。

在 V100 架构中，每块 GPU 拥有 6 条 NVLink 通道，这些通道可以连接到 NVSwitch 上，从而形成一个高带宽的通信网络。在 DGX-2 系统中，8 个 V100 GPU 通过这些 NVLink 通道与 6 个 NVSwitch 相连，构建了一个强大的基板。

第一代的 NVSwitch 支持的 NVLink 2.0 技术，每个接口能够提供双通道，高达 50GB/s 的带宽。这意味着通过 NVSwitch，整个系统能够实现总计 900GB/s 的惊人带宽，极大地提升了数据传输速率和计算效率。

其次，NVSwitch 基于台积电的 12nm FinFET FFN 工艺制造，这种先进的工艺技术使得 NVSwitch 能够在 100W 的功率下运行，同时集成了高达 2 亿个晶体管。

在电路 IO 和封装方面，NVSwitch 封装在一个大型的 BGA 芯片中，具有 1940 个引脚，其中 576 个专门用于支持 18 路 NVLink。其余的引脚用于电源和各种 I/O 接口，包括 x4 PCIe 管理端口、I2C、GPIO 等，为系统提供灵活的管理和扩展能力。

每个 NVLink 双向带宽高达 50GB/s，实际利用率最高能达到 80%。

4、NVSwitch迭代
THE NVLINK-NETWORK SWITCH: NVIDIA’S SWITCH CHIP FOR HIGH COMMUNICATION-BANDWIDTH SUPERPODS

第一代

在左侧为 GPU XBAR，它是一个高度专业化的桥接设备，专门设计用于 NVLink 互连环境中，可以使得数据包能够在多个 GPU 之间流动和交换，同时对外呈现为单个 GPU。通过 GPU XBAR，客户端应用程序能够感知并利用多个 GPU 的集合性能，减少了客户端进行 GPU 间通信管理的复杂性。

GPU XBAR 利用基于静态随机存取存储器（SRAM）的缓冲技术，实现非阻塞的数据传输。这种缓冲机制保证了数据传输的连续性和效率，即使在高负载情况下也能保持高性能。

从 V100 GPU 开始，英伟达重新使用了 NVLink 的 IP 块和 XBAR 设计，这不仅保证了不同代产品之间的兼容性，也使得 NVLink 技术能够不断迭代和优化，同时减少了开发成本和时间。

结合整个 GPU 来看 NVSwitch 和 GPU 之间是如何进行数据传输和分发的。

在编程中，开发者通常处理的是虚拟地址。这些虚拟地址是由操作系统管理和抽象的，它们为不同的程序提供了独立的地址空间。然而，在物理内存中，数据实际上是以物理地址存储的。物理地址直接指向内存中的具***置，这是实现数据访问的基础。而虚拟地址到物理地址的转换通常由 GPU 的图形处理单元（GPU 核心）或者固定功能单元（如内存管理单元）来完成。

而在通过 NVLink 传输数据时，如上图所示，其使用的是物理地址而非虚拟地址。这是因为物理地址能够直接指向数据的实际存储位置，从而加快了数据的索引和访问速度。

NVSwitch 作为 NVLink 的桥接设备，它不仅提供了高带宽的通信路径，还负责维护复杂的路由和缓冲机制，确保数据包能够按照正确的物理地址快速且准确地传输到目的地。通过使用物理地址进行 NVLink 通信，可以减少在目标 GPU 上进行地址转换的需要，从而降低延迟，提高数据传输速率。这对于需要快速处理大量数据的高性能计算和 AI 应用来说是至关重要的。

NVSwitch 在解决多 GPU 间的互联有以下优势和特性：

扩展性与可伸缩性：
NVSwitch 的引入为 GPU 集群的扩展性提供了强大的支持。通过简单地添加更多的 NVSwitch，系统可以轻松地支持更多的 GPU，从而扩展计算能力。

高效的系统构建：
例如，八个 GPU 可以通过三个 NVSwitch 构建成一个高效的互连网络。这种设计允许数据在所有 GPU 链路之间自由交互，最大化了数据流通的灵活性和效率。

全双向带宽利用：
在这种配置下，任意一对 GPU 都能够利用完整的 300 GBps 双向带宽进行通信。这意味着每个 GPU 对都能实现高速、低延迟的数据传输，极大地提升了计算任务的处理速度。

无阻塞通信：
NVSwitch 中的交叉开关（XBAR）为数据传输提供了从点 A 到点 B 的唯一路径。这种设计确保了通信过程中的无阻塞和无干扰，进一步提升了数据传输的可靠性和系统的整体性能。

优化的网络拓扑：
NVSwitch 支持的网络拓扑结构为构建大型 GPU 集群提供了优化的解决方案。它允许系统设计者根据具体的计算需求，灵活地配置 GPU 之间的连接方式。

第三代

程勇：NVSwitch和NVLink-Network Switch

THE NVLINK-NETWORK SWITCH: NVIDIA’S SWITCH CHIP FOR HIGH COMMUNICATION-BANDWIDTH SUPERPODS

https://www.naddod.com/blog/future-of-ai-hardware-nvlink-switches-in-dgx-h100

第三代NVSwitch芯片，提供64端口，每端口提供50 GB/s双向带宽。从芯片角度看，一个第三代NVSwitch芯片拥有128 NVLink PHY Lanes，每PHY Lane提供25 GB/s双向带宽，总聚合双向带宽是～3.2TB/s（25*128/1000）。

一个NVLink-Network Switch包含两个第三代的NVSwitch芯片，提供128端口，每端口提供50 GB/s双向带宽 [8, 9]，总聚合双向带宽是～6.4 TB/s。

第三代 NVSwitch 采用了 TSMC 的 4N 工艺制造，即使在拥有大量晶体管和高带宽的情况下，也能保持较低的功耗。它提供了 64 个 NVLink 4 链路端口，允许构建包含大量 GPU 的复杂网络，同时保持每个 GPU 之间的高速通信。同时支持 3.2TB/s 的全双工带宽，显著提升了数据传输速率，使得大规模数据集的并行处理更加高效。

在信号技术方面，采用了 50 Gbaud PAM4 信号技术，每个差分对提供 100 Gbps 的带宽，保持了信号的高速传输和低延迟特性。

NVSwitch 集成了英伟达 SHARP 技术，包括 all_gather、reduce_scatter 和 broadcast atomics 等操作，为集群通信提供了硬件加速，进一步提升了性能。NVSwitch 3.0 的物理电气接口与 400 Gbps 以太网和 InfiniBand 兼容，提供了与现有网络技术的互操作性。

英伟达的第三代 NVSwitch 引入了多项创新特性，其中新 SHARP 模块和新 NVLink 模块的加入，为 GPU 间的高效通信和数据处理提供了显著的性能提升，如上图所示。

新 SHARP 模块

新引入的 SHARP 模块拥有强大的数据处理能力，支持多种运算符，从逻辑运算到算术运算，同时兼容多种数据格式，如 FP16 和 BF16，为 AI 和机器学习工作负载提供了强有力的支持。SHARP 控制器的设计能够并行管理多达 128 个 SHARP 组，同时处理众多任务，大幅提升了数据并行处理的效率，顺利完成大规模的数据处理任务。

NVSwitch 中的交叉开关（XBAR），经过精心调整和优化，与 SHARP 模块的数据传输需求完美匹配。这一协同设计，确保了数据在 GPU 间传输时的高效率和低延迟，提升系统的整体性能。

新 NVLink 模块

新 NVLink 模块的集成，不仅为数据和芯片提供了额外的安全保护，防止未授权访问和潜在的数据泄露，更增强了系统的数据安全性。端口分区功能的引入将不同的端口隔离到单独的 NVLink 网络中，为系统提供了更高的灵活性，允许在不同的网络之间实现资源的逻辑分割，优化了多任务处理的能力。

控制器对下一代 Octal Small Formfactor Pluggable（OSFP）电缆的支持，提供了更高的数据传输速率和更低的信号衰减，适合长距离的高速通信，为未来的网络扩展提供了无限可能。

新 NVLink 模块还扩展了遥测功能，使得系统管理员能够更精确地监控和优化网络性能，确保系统的稳定运行。而集成的前向纠错（FEC）技术，增强了数据传输的可靠性，尤其是在面对信号衰减或干扰时，能够保证数据的完整性和准确性。

第四代 NVLink Switch

NVIDIA GB200 NVL72 提供万亿参数 LLM 训练和实时推理

NVIDIA GB200 NVL72 引入了第五代 NVLink，可在单个 NVLink 域中连接多达 576 个 GPU，总带宽超过 1 PB/s，快速内存超过 240 TB.每个 NVLink 交换机托盘提供 144 个 100 GB 的 NVLink 端口，因此 9 台交换机可完全连接 72 个 Blackwell GPU 上的 18 个 NVLink 端口。

每个 GPU 革命性的 1.8 TB/s 双向吞吐量是 PCIe 5.0 带宽的 14 倍以上，可为当今极为复杂的大型模型提供无缝高速通信。

高速 NVLink Switch 互联为 GPU 提供 1 PB/s 的聚合带宽