揭秘马斯克Colossus AI超算：集成了10万个英伟达H100 GPU

10月29日消息，YouTube视频博主ServeTheHome首次曝光了埃隆·马斯克（ElonMusk）旗下人工智能企业xAI的Colossus AI超级计算机集群，其集成了100000个英伟达（NVIDIA）H100GPU，号称是目前全球最强大的AI超级计算机集群。

早在今年7月下旬，马斯克就在“X”平台上宣布，自己已经启动了“世界上最强大的AI集群”。这座AI集群从开始建设到完成组装仅花了122天就完成了，目前已经上线运行了约3个月。

根据ServeTheHome曝光的信息来看，庞大的Colossus AI超级计算机集群采用的是超威电脑（Supermicro）的服务器，其基于NVIDIAHGXH100方案，每个服务器中拥有8个H100GPU，封装在Supermicro的4U通用GPU液冷系统内，为每个GPU提供简单的热插拔液冷。

这些服务器装载在机架内，每个机架可容纳8台服务器，也就是说每个机架内有64个GPU。1U歧管夹在每个HGXH100之间，提供服务器所需的液体冷却。每个机架的底部是另一个Supermicro4U单元，这次配备了冗余泵系统和机架监控系统。

△四组xAI的HGXH100服务器机架，每组可容纳八台服务器。（图片来源：ServeTheHome）

△xAIColossusGPU服务器的后部访问。每台服务器有9根以太网电缆，每台服务器有4个电源。电源和液体冷却软管也可见。（图片来源：ServeTheHome）

这些机架以8个为一组配对，每个阵列有512个GPU。每台服务器都有四个冗余电源，GPU机架的后部露出三相电源、以太网交换机和一个提供所有液体冷却的机架大小的歧管。

Colossus集群中有超过1500个GPU机架，或近200个机架阵列。据英伟达首席执行官黄仁勋称，这200个阵列的GPU仅用了三周时间就完成了安装。

由于AI超级集群不断训练模型的高带宽要求，xAI在其网络互连性方面提供了超大的带宽。

目前每个显卡都有一个400GbE的专用NIC（网络接口控制器），每台服务器还有一个额外的400GbNIC。这意味着每台HGXH100服务器都有每秒3.6TB的以太网速率。整个集群都在以太网上运行，而不是InfiniBand或其他在超级计算领域标配的连接。

△仰望一大片的黄色以太网电缆，将xAIColossus集群连接在一起。多层过宽的电缆线路嵌入天花板中。（图片来源：ServeTheHome）

△xAI的ColossusCPU计算服务器，看起来与该站点中也广泛使用的Supermicro存储服务器完全相同。（图片来源：ServeTheHome）

当然，像xAI旗下Grok3聊天机器人这样基于训练AI模型的超级计算机需要的不仅仅是GPU才能运行。

Colossus集群当中的存储和CPU计算机服务器的详细信息仍未曝光，不过这些服务器也大多采用Supermicro机箱。一波又一波的NVMe转发1U服务器内部带有某种x86平台CPU，可容纳存储和CPU计算，还具有后入式液体冷却功能。

另外，在该超级计算机集群的外面，还可以看到一些大量捆绑的特斯拉Megapack电池（每个最多可容纳3.9MWh）。

该电池阵列的是为了应对突发停电的临时备用电源，其可以在毫秒之间快速提供供电，相比柴油发电机反应要快得多，可以使得有足够时间去启动其他备用电源。