BlackwellGB200-英伟达AI服务器架构介绍

薪科技快评 2024-11-21 17:03:09

Blackwell GB200:英伟达GPU重塑AI服务器

Blackwell系列的GB200计算能力远超H100,采用台积电N4P制程,双芯片架构,集成2080亿个晶体管,192GB HBM3E,AI算力达20petaFLOPS。与H100相比,GB200 NVL72将训练速度提高了30倍。互联网厂商如Meta、谷歌等2024年资本开支增加,将推动CSP厂商对GB200等高性能服务器的需求 。

B200集成2080亿个晶体管,采用台积电N4P制程,为双芯片架构,192GB HBM3E,AI算力达20petaFLOPS(FP4),是Hopper的5倍。GB200机架提供4种不同主要外形尺寸,每种尺寸均可定制。与H100 相比,GB200 NVL72将训练速度(如 1.8 T 参数 GPT-MoE) 提高了 30 倍。

互联网资本开支方面,Meta、Alphabet(谷歌)、微软、亚马逊等厂商均增加2024年资本开支指引。微软预计FY25Q1资本支出将环比增加,及2025财年资本支出将高于24财年;谷歌表示2024年季度资本开支将等于或高于一季度水平;Meta将2024年资本支出预测提高至370-400亿美元,亚马逊表示2024年下半年的资本投资将更高。

二、服务器细节拆分:主板从HGX到MGX,GB200 NVL72价值量提升

GB200主板已从NVIDIA的高性能服务器HGX模式升级为MGX模式。MGX是基于开放模块化服务器设计规范和加速计算需求而开发,广泛应用于Blackwell系列。在MGX模式下,GB200 Switch tray由工业富联制造,Compute Tray则由纬创与工业富联共同生产,最终交付给英伟达。据Semianalysis预测,这将带来机柜集成、HBM、铜连接和液冷等四个市场价值量2-10倍的提升。

三、铜连接:DACs市场较快增长,GB200 NVL72需求较大

在高速线缆领域,有源光缆适用于远距离传输,而直连电缆则以高速和低功耗为特点。据LightCounting预测,到2028年,高速线缆市场规模将达到28亿美元,DACs(数字模拟转换器)市场将继续保持较快增长。Nvidia的战略是尽可能多地部署DACs。据QYResearch的数据显示,2022年全球前十大厂商占据了69.0%的市场份额,其中安费诺位居全球第一。国内厂商包括立讯精密、兆龙互联、金信诺、电联技术等,尽管在全球市场上的份额相对较低。

四、HBM:HBM3E将于下半年出货,英伟达为主要买家

HBM是一种新型的存储器技术,目前已经量产的共有HBM、HBM2、HBM2E、HBM3、HBM3E五个子代标准。其中,HBM3E将于下半年出货,而HBM4或于2026年上市。据预计,到2024年底,HBM TSV产能将约为250K/m。三星和海力士正在积极扩产,三星的HBM总产能将在年底达到约130K(含TSV),而SK海力士约为120K。英伟达目前是HBM最大的买家之一,海力士和三星也已完成了HBM3E验证。

五、冷板式液冷较为成熟,GB200 NVL72采用液冷方案

AI大模型训推对芯片算力提出更高要求,提升单芯片功耗,英伟达B200功耗超1000W、接近风冷散热上限。液冷技术具备更高散热效率,包括冷板式与浸没式两类,其中冷板式为间接冷却,初始投资中等,运维成本较低,相对成熟,英伟达GB200 NVL72采用冷板式液冷解决方案。

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

0 阅读:16

薪科技快评

简介:薪科技评说,发现技术的点滴,记录科学的飞跃!