三星或将采购AMD MI300X数据中心GPU以训练AI

据韩媒报道，近期三星向AMD采购大批GPU，用以加速人工智能开发应用。

据悉，这是三星首次购买英伟达以外厂商GPU，AMD没有公布单颗价格，预估约10,000美元。三星约购入2千颗 Instinct MI300X。目前市场上H100 PCIe 80GB HBM2E版本售价高达3-4万美元，而性能更强的H100 SXM5 80GB HBM3版本更是天价。相比之下，Instinct MI300X的定价或许仅为后者的四分之一！

业界人士指MI300X去年底推出时，外界认为性能不及H100，但最近AMD测试结果显示，表现近H100，并在高速缓存、延迟、推理等方面对比后发现，性能远超英伟达的 H100。这大概是吸引三星采购的原因。这批AMD芯片将先交给三星研究院测试。

在AI算力领域，英伟达长期占据着主导地位。

然而，AMD并没有因此而气馁，而是持续投入研发，终于推出了Instinct MI300X GPU。这款产品在AI推理基准测试中的表现与英伟达的H100 GPU相当，这标志着AMD在高性能AI计算领域取得了显著的进步。

AMD Instinct MI300X 人工智能加速器基于 CDNA 3 架构打造，采用混合的 5nm 和 6nm 制程工艺，最多拥有 1530 亿晶体管。

根据AMD的说法，MI300X与英伟达的H100加速器相比，内存容量提高 2.4 倍，内存带宽提高 1.6 倍，FP16/FP8 TFLOPS算力是其1.3 倍。在 1v1 比较中，速度比 H100 (Llama 2 70B) 快达 20%；在 1v1 比较中，速度比 H100 (FlashAttention 2) 快达 20%。

英伟达A100芯片提供了40GB和80GB两种版本的HBM2E内存，内存带宽分别为1.6TB/s和2TB/s。而AMD MI300X芯片则提供了192GB的HBM3内存，内存带宽达到了5.2TB/s。123 AMD MI300X芯片的内存容量和带宽均高于英伟达A100芯片，这意味着它可以处理更大型的模型和数据集。

AMD MI300X芯片在深度学习训练方面相比上一代产品MI250提升了8倍，在深度学习推理方面相比上一代产品MI250提升了5倍，在HPC方面相比上一代产品MI250提升了5倍。

虽然此前的一些公开测试显示，MI300X在部分AI工作负载性能方面落后于英伟达H100，但三星电子最近在对于MI300X的一些测试显示，MI300X性能与英伟达H100相当，更何况MI300X价格也更为实惠。

三星目前基础设施使用英伟达芯片，AMD芯片用于人工智能开发还需时间优化。 三星相关人士透露，部分AMD GPU已送达三星研究院，还未实际应用，仍需准备工作。

市场预测三星会持续采购AMD GPU，上半年供应AMD价值30亿美元第五代高带宽内存HBM3E，同时签订协议，承诺购买1万亿韩元AMD GPU。

值得注意的是，三星电子最近也向AMD提供了其新的HBM3E内存进行测试，希望AMD将其用于其 Instinct GPU 系列。而在此之前，三星电子的HBM3E 内存已经通过了英伟达GPU的认证。预计三星未来将继续从 AMD 购买 GPU，同时推动AMD采用三星的HBM3E内存。据一位三星电子的高管称，预计两家公司之间的联系将进一步加强。

HBM3E 是最新一代商用 HBM。以三星电子为例，它持续进行质量测试，向英伟达供应 8 层和 12 层产品。最初，业界预计8层产品的结果将在8月或9月发布，但官方质量批准尚未发布。据了解，主要问题是电力不足。

分析认为三星电子的HBM3E是否会立即批量供应Nvidia的高性能AI加速器“H200”和“B100”还有待观察。

此外，英伟达芯片短缺也是三星选择AMD的原因之一。随着去年人工智能热潮的兴起，英伟达芯片供应变得紧张，导致三星内部的人工智能芯片需求难以完全满足。有内部人士指即便是使用H100的前代A100和V100，需求仍然无法得到充分满足。

业内人士对AMD在AI领域的发展前景持乐观态度。

Transformer作者及Cohere公司创始人之一艾丹·戈麦斯表示，他相信AMD和Tranium等平台将很快进入主流市场。这不仅仅是对AMD技术的认可，更是对整个AI计算领域未来发展的期待。

得益于优异的性能，AMD MI300X火爆销售。据外媒报道，微软已成为AMD Instinct MI300X的最大买家！这款高性能计算卡正在助力GPT-4等大型语言模型的工作。

不过，三星也计划投资GPU，并通过投资GPU来强化其半导体工艺创新，进一步提升盈利能力。

在2024年3月的英伟达“GTC 2024”大会上，三星明确表示将继续与英伟达合作，开发基于AI的数字孪生系统，这表明三星在GPU领域的投资不仅是为了自身的技术积累，也是为了加强与行业领导者的合作关系。