售价超2000万的芯片系统 英伟达NVL72内部曝光

站长云网 2024-07-29 站长云网

从分析师估计到首席执行官黄仁勋的评论,NVIDIA的Blackwell平台的定价已经陆续出炉。简而言之,部署这些性能强大的产品将花费买家高昂的成本。摩根士丹利估计,NVIDIA将在2025年出货60,000到70,000台B200服务器机柜,相当于每年至少2100亿美元的收入。尽管成本高昂,但对这些强大的AI服务器的需求仍然很强烈。

据报道,NVIDIA已投资约100亿美元开发Blackwell平台,约有25,000人参与其中。由于所有性能都集成在单个BlackwellGPU中,因此这些产品的价格高昂也就不足为奇了。

据汇丰银行分析师称,NVIDIA的GB200NVL36服务器机架系统售价为180万美元,NVL72售价为300万美元(约2175万人民币)。功能更强大的GB200超级芯片结合了CPU和GPU,预计每颗售价为6万至7万美元。这些超级芯片包括两个GB100GPU和单个GraceHopper芯片,并配有一个大型系统内存池(HBM3E)。


今年早些时候,首席执行官黄仁勋告诉CNBC,BlackwellGPU的价格为3万至4万美元,摩根士丹利根据此信息计算了买家的总成本。每台AI服务器机柜的价格约为200万至300万美元,而NVIDIA计划出货6万至7万台B200服务器机柜,预计年收入至少为2100亿美元。

但客户支出在某个时候会证明这是合理的吗?红杉资本分析师戴维·卡恩估计,支付其投资所需的年度人工智能收入已攀升至每年6000亿美元。

但目前,毫无疑问,无论代价有多大,公司都会付出代价。B200拥有2080亿个晶体管,可提供高达20petaflops的FP4计算能力。训练一个1.8万亿参数模型需要8,000个HopperGPU,消耗15兆瓦的功率。

这项任务需要2,000个BlackwellGPU,功耗仅为4兆瓦。对于大型语言模型推理工作负载,GB200超级芯片的性能是H100GPU的30倍,并且显著降低了功耗。

据摩根士丹利称,由于需求旺盛,NVIDIA将台积电的订单量增加了约25%。可以毫不夸张地说,Blackwell将成为AI训练和许多推理工作负载的事实标准,它旨在为一系列下一代应用提供支持,包括机器人、自动驾驶汽车、工程模拟和医疗保健产品。

NVIDIAGB200NVL72系统细节

最近,我们有机会看到了Supermicro版本的NVIDIAGB200NVL72。

SupermicroNVIDIAGB200NVL72是Supermicro的NVIDIAGraceBlackwell200NVLink72GPU机架版本。


在顶部,我们看到了Supermicro的标志、网络和电源。


然后我们得到十个双节点GB2001U机箱。


GraceBlackwellGB200节点背面有用于连接NVLink背板的接口。这些节点为半宽节点,因此两个节点可以并排安装在1U机架式机箱中。


有两个BlackwellGPU。


然后我们得到了带有LPDDR内存的NVIDIAGraceCPU。


以及节点底部的I/O连接。


中间是用于连接系统的NVLink交换机。底部是另外八个双GB200节点。十八个1U机箱,每个机箱有两个GB200组件,每个组件有两个BlackwellGPU,总共有72个GPU。


下面是电源和由Supermicro制造的冷却剂分配装置。


这是一个与我们在Supermicro定制液体冷却机架中看到的设计类似的CDU。

这个机架是一个集群,每小时使用约120kW的电量,大约相当于每小时的电量,这些电量存储在123kWh的特斯拉Cybertruck电池中。在视频中,我们讨论了GB200NVL72机架如何像驾驶一辆约7000磅重的卡车行驶300英里。我们预计未来几个月内,更高功率的数据中心将使用这些GB200NVL72解决方案。考虑到我们在液体冷却方面所做的努力,这是我们想要关注功率方面的原因之一。

责任编辑:站长云网