|| 什么是PCIe

有过装机经历的朋友，可能在主板上见过水平放置的 PCIe 插槽。PCIe（外围组件快速互连）是一种高带宽扩展总线，通常用于连接显卡、固态硬盘以及采集卡和无线网卡等外设，用作数据的高效传输。在AI时代，PCIe常用于CPU与GPU、GPU与GPU的相互通信。

PCIe总线采用串行通信，数据以串行方式在差分信号线上传输，每条通道（Lane）包含一对发送线和一对接收线，支持全双工通信。

PCIE的带宽由两个主要因素共同决定：PCIe代数（Gen）和通道数量（xN）。PCIe代数决定了每个通道的数据传输速率，通道数量则决定了有多少个这样的通道并行工作。PCIe 设备可根据需求使用不同数量的通道（如 x1、x4、x8、x16 等），总带宽为单通道带宽乘以通道数。例如，PCIe 4.0 x16 的总带宽是单通道带宽的 16 倍。

历代PCIe的带宽如下，每一代PCIe的带宽都是上一代的两倍。

PCIe标准的指定由PCI-SIG（Peripheral Component Interconnect Special Interest Group，即外围部件互连专业组）负责。它于 1991 年下半年，由英特尔联合 IBM、康柏、AST、惠普、DEC 等 100 多家公司成立。

近期，PCI-SIG向会员正式发布PCI Express ( PCIe ) 7.0规范，该规范速度达到128.0 GT/s。PCIe 7.0规范面向数据驱动型应用，例如人工智能/机器学习 (AI/ML)、800G 以太网、云计算和量子计算。PCIe 8.0规范的探索工作已在进行中，以继续支持行业在PCIe技术生态系统中的投资和产品路线图。

其目标是将数据传输速率提升至 128 GT/s，相较于 PCIe 6.0 实现翻倍，通过 x16 配置可提供高达 512 GB/s 的双向传输速度。

|| PCIe在AI时代的应用

1. GPU与CPU之间的高速数据传输

深度学习模型训练需要频繁在CPU（负责数据预处理）和GPU（负责计算）之间传输数据，如训练批次、中间结果等。PCIe的高带宽确保了数据能够高效流动，避免因传输瓶颈导致GPU空闲。例如，在大规模图像/视频训练时，数据从CPU内存通过PCIe快速加载到GPU显存。

2. 多GPU并行训练的通信基础

在多GPU训练中，如数据并行或模型并行，GPU之间需频繁同步梯度或中间结果。虽然NVLink等专用互联技术速度更快，但PCIe仍广泛用于连接GPU，尤其是在多卡服务器中。PCIe的版本和通道数直接影响多卡通信效率，例如，PCIe 4.0 x16的带宽是PCIe 3.0 x16的两倍，能够显著减少同步延迟。

3. 高速存储设备的连接

NVMe SSD通过PCIe接口提供超高读写速度，加速训练数据的加载过程，尤其适用于无法完全缓存到内存的超大规模数据集。使用多块NVMe SSD组成RAID并通过PCIe连接，可进一步加速数据预处理流水线。

在实际应用中，需要注意上下网络的对等设计，例如，在上图的GPU组网图中，GPU与PCIe Switch之间使用的是Gen4*16，那么CPU与PCIe Switch之间就需要使用Gen5*16，网络才能收敛。如果继续使用Gen4*16，那么上下两层通信网络的带宽为1:2，可能会造成网络拥塞，导致通信瓶颈。

无法进入请加我微信：TechRider2023

更多「上官君屹」精彩内容，欢迎点击「阅读原文」

搞GPU，必须要懂PCIe