NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

站长云网 2024-03-19 站长云网

“最强AI芯片”BlackwellB200GPU的高调发布,已不单单是稳固英伟达在芯片领域的王者地位,更是让业内人士高呼:新的摩尔定律诞生!在隔夜的2024GTC大会上,黄仁勋介绍了运行AI模型的新一代芯片和软件。他表示,新一代的B200GPU拥有2080亿个晶体管,可以提供高达20petaflops的FP4性能。相比之下,H100仅为4petaflops。


在GTC直播中,黄仁勋左手举着B200GPU,右手举着H100

此外,将两个B200GPU与单个GraceCPU结合在一起的GB200,可以为LLM推理工作负载提供30倍的性能,并且显著提高效率。

黄仁勋还强调称:“与H100相比,GB200的成本和能耗降低了25倍!

关于市场近期颇为关注的能源消耗问题,B200GPU也交出了最新的答卷。

黄仁勋表示,此前训练一个1.8万亿参数模型,需要8000个HopperGPU并消耗15MW电力。但如今,2000个BlackwellGPU就可以实现这一目标,耗电量仅为4MW。

在拥有1750亿参数的GPT-3大模型基准测试中,GB200的性能是H100的7倍,训练速度是H100的4倍。

值得一提的是,B200GPU的重要进步之一,是采用了第二代Transformer引擎。

它通过对每个神经元使用4位(20petaflopsFP4)而不是8位,直接将计算能力、带宽和模型参数规模翻了一倍。

而只有当这些大量的GPU连接在一起时,第二个重要区别才会显现,那就是新一代NVLink交换机可以让576个GPU相互通信,双向带宽高达1.8TB/秒。

而这就需要英伟达构建一个全新的网络交换芯片,其中包括500亿个晶体管和一些自己的板载计算:拥有3.6teraflopsFP8处理能力。

在此之前,仅16个GPU组成的集群,就会耗费60%的时间用于相互通信,只有40%的时间能用于实际计算。

一石激起千层浪,“最强AI芯片”的推出让网友纷纷赞叹。

其中英伟达高级科学家JimFan直呼:Blackwell新王诞生,新的摩尔定律已经应运而生。

DGXGrace-BlackwellGB200:单个机架的计算能力超过1Exaflop。

黄仁勋交付给OpenAI的第一台DGX是0.17Petaflops。

GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。


还有网友感叹:1000倍成就达成!

Blackwell标志着在短短8年内,NVIDIAAI芯片的计算能力实现了提升1000倍的历史性成就。

2016年,“Pascal”芯片的计算能力仅为19teraflops,而今天Blackwell的计算能力已经达到了20000teraflops。


相关文章:

全程回顾黄仁勋GTC演讲:Blackwell架构B200芯片登场

英伟达扩大与中国车企合作为比亚迪提供下一代车载芯片

英伟达进军机器人领域发布世界首款人形机器人通用基础模型

台积电、新思科技首次采用NVIDIA计算光刻平台:最快加速60倍

NVIDIA共享虚拟现实环境技术将应用于苹果VisionPro

黄仁勋GTC演讲全文:最强AI芯片Blackwell问世推理能力提升30倍

责任编辑:站长云网