马斯克Colossus超算首阶段投运：20万GPU上线，150MW电池备用

马斯克旗下的xAI公司近日宣布，其位于孟菲斯的超级计算集群第一阶段已成功接入主电网并全面投入运营。这一里程碑式的进展标志着该项目的变电站正式投入使用，为xAI的Colossus超级计算机提供了稳定的电力供应。

去年7月，马斯克首次启动了这一AI集群。当时，集群内部已经安装了10万块英伟达H100 GPU，并通过单一架构实现了高效连接。这一超级计算机的搭建速度惊人，仅用了19天便投入使用，远远低于英伟达CEO黄仁勋所提到的四年常规周期。

然而，这种快速部署也带来了一些挑战。最初，由于尚未接入电网，孟菲斯超级集群只能依赖天然气涡轮发电机供电。据初步统计，现场最初部署了14台2.5兆瓦的发电机。但近期，当地居民发现现场及其周边涡轮机的数量已经超过了35台。

随着变电站的正式接入，孟菲斯超级集群现在可以完全依靠田纳西河谷管理局（TVA）提供的电力。TVA的电力供应中约60%来自水力、太阳能、风能和核能等可再生能源。因此，xAI计划停用约一半的临时发电机，但仍需保留部分发电机以满足第二阶段建设的电力需求。

Colossus超算集群的相关部署

Colossus超算集群于2024年7月启动，其GPU数量已从最初的10万台翻倍至20万台。马斯克表示，他计划将孟菲斯超级集群的规模进一步扩大到100万台GPU，并正在积极筹集资金以实现这一目标。按100万GPU配置，峰值算力预计将达2000-4000 EFLOPS，建设成本约350-400亿美元，较当前20万 GPU Colossus实现五倍跃升。

据悉，Colossus计算集群的核心构建单元是超微的液冷机架系统。每个机架集成了八台4U服务器，单台服务器搭载八片NVIDIA H100 GPU，使单机架总GPU容量达到64片。一个完整的GPU计算机架由八台GPU服务器、一个超微冷却分配单元及配套设备组成。这些机架以八台为一组部署，每组可支持512片GPU，并配备网络互联设施，以便在更大规模系统中形成计算子集群，采用超微4U通用GPU系统。

在典型的AI计算集群中，大型存储阵列是标配。在Colossus集群中，虽然运行着来自不同厂商的存储软件，但绝大部分存储服务器硬件均由超微提供。因为超微是多家存储设备供应商的OEM。

在大规模计算集群中，传统CPU计算节点依然占据重要位置。xAI Colossus集群中拥有整排的1U服务器，采用高速x86 CPU，具体型号未知。每台服务器的设计都在计算密度和散热需求之间达到了精妙的平衡。以机箱正面为例，约三分之一的面板用于冷空气进气，其余部分则布置了带有橙色标识的NVMe硬盘托架。

Colossus的网络系统采用以太网而非InfiniBand等技术，这主要是因为以太网具有更好的可扩展性，能够满足Colossus庞大的规模需求。GPU网络和CPU网络分离，以确保高性能计算集群的最佳性能。其中，存储网络采用400GbE以太网，使用64端口800GbE以太网交换机；GPU网络采用400GbE以太网，使用NVIDIA Spectrum-X网络解决方案，支持RDMA技术。

在xAI Colossus的机房设施中，电力和设施用水是至关重要。其供水管道分为冷水和热水两组。冷水被引入设施，并循环流经每个机架中的冷却液分配单元（CDU）。热量从GPU和后门热交换器回路传递至CDU的设施用水回路。热水随后被引导至设施外部的冷却设备。值得注意的是，这些冷却设备并非用于制冰，而是旨在将水温降低至足以再次循环利用的程度。在电力方面，由于AI服务器的电力消耗并非恒定，而是会随工作负载的波动而变化，因此毫秒级的电力峰值和低谷对系统造成了显著压力。xAI Colossus引入了特斯拉Megapack以缓冲电力峰值，从而提高系统的稳定性。

xAI正洽谈新一轮融资，估值或跃升至1200亿美元

有报道称，目前xAI正着手进行新一轮融资谈判，其潜在估值惊人，或达到1200亿美元。

据悉，xAI的此次融资谈判仍处于初级阶段，具体估值和融资金额均存在变动可能。有消息人士透露，投资者正考虑向xAI注入高达200亿美元的资金，但这一数字同样存在调整空间。

值得注意的是，xAI与马斯克掌舵的社交媒体平台X之间存在着深度的绑定关系。今年早些时候，马斯克宣布将X平台出售给xAI，这一全股票交易使得xAI的估值在当时就达到了800亿美元，而X平台的估值则为330亿美元。

回溯至2023年12月，xAI在完成一轮融资时的估值还仅为400亿美元，其在短短数月内的估值增长令人瞩目。