NVIDIA首秀Blackwell GB200超级芯片系统:AI推理性能飙升1.5倍
此前有消息称,新一代NVIDIA Blackwell架构GPU的供货已被推迟。不过,官方并没有承认也没有否认。相反,他们悄悄拿出了基于新一代GB200 GPU+GPU超级芯片的服务器系统并进行了演示。
GB200 Grace Blackwell包含2个B200 GPU和1个Grace CPU,总功耗高达2700W。
其中,B200拥有2040亿个晶体管,8096位192GB HBM3E内存(带宽8TB/s),性能达到9PFlops(每秒9万亿次),功耗首次达到1000W。
NVIDIA展示的服务器犹如一件艺术品,一条条蓝色和铜色排线,大量超粗直径铜管,超大体积的散热片,组成了一个庞然大物。NVIDIA没有透露具体配置,只是分为带和不带NVSwitch两个版本,总带宽高达14.4TB/s。
性能方面,只给出了一个数据:Llama 3.1 700亿参数大模型的AI推理性能对比H200提高了足足1.5倍。。散热怎么样? NVIDIA透露,正在开发一种热水冷却系统,可以降低28%的功耗。
不过,NVIDIA仍然没有给出Blackwell GPU服务器的发货时间,预计是在今年第四季度。
在即将召开的Hot Chip 2024大会上,NVIDIA将详细解释Blackwell GPU,并进一步披露有关未来Vera CPU和Rubin GPU的消息。