英伟达的下一代CPO

全产业 2024-10-25 02:09:37

最近大家对于英伟达CPO话题的关注度越来越高,今天就来简单介绍一下英伟达的下一代CPO产品。

我们知道,随着Serdes传输速率的提升,传统可插拔光模块的方案因为要通过多个铜线通道且距离较长,从而会导致信号损耗(见下图)。因此改变光模组的放置位置,便是市场提出的下一代解决方案,将光模组集成为光引擎,并将其与计算芯片封装在一起,就是Co-Packaged Optics (CPO)的概念。

这里笔者要帮读者理清一个误解,英伟达接下来在明年要推出的第一款CPO产品并不是大家期盼已久的CPO连接的system rack(见下图),而是一款Infiniband (IB)交换机。

我们由以下英伟达最新的产品路线图可知(见下图最下面一排switch section),公司将于4Q24推出一款Quantum 3400 X800的IB交换机。这款交换机的传统可插拔光模块版本将在今年年底开始量产。而下图中所没有显示的是,它还有计划出一款隐藏的CPO版本,将于3Q25开始量产。这便是英伟达的第一款将会投入量产的CPO产品。这款CPO版本的Quantum 3400 X800 IB交换机其实从去年年底便开始进行研发,并且已经向客户展示过一次了,所以肯定会推出市场。在IB交换机之后,英伟达也计划将于2026年推出CPO版本的Spectrum4 Ultra X800以太网交换机。

下面让我们来仔细看一下这款CPO版本的Quantum 3400 X800 IB交换机的外观:这是一款4U高度的交换机,总共有六排,每排则有24个MPO接线口(Multi-fiber Push On,一种标准化的光纤连接器),每个接线口支持800G,总计144个800G端口。此外,该设备左下方有18路外置的可插拔光源模组(ELS module),右下方则是调试接口、管理接口、串口和LED指示灯等(见下图一)。其设计为纯液冷系统,电源位于后端中央位置,两侧则分别为进冷水管和出热水管(见下图二,蓝色部分为进冷水接口,红色部分为出热水接口)。

接下来笔者来介绍一下这款CPO版的Quantum 3400 X800 IB交换机里面的结构:

Q3400 X800 CPO交换机里面有四颗28.8T的交换机芯片(总共115.2T的交换能力),但四颗交换机芯片之间并不用直接通信,而是采用交换机架构中的多平面技术(multi-plane topology)。所谓多平面技术,即每一根交换机外面的光纤从MPO口(Multi-fiber Push On)连进来之后,会用光纤分纤盒(shuffle box)将其信号拆分成四路并分别连接到四个不同的交换机芯片(即四个独立的交换平面)上,从而将信源切割成最小单元。这种架构允许多个独立平面同时运行(因此被称为multi-plane),最终在CX8网卡端进行数据汇聚。

换句话来说,英伟达的CX8网卡会将接收到的数据拆分成四部分,每部分分别进入不同的交换机芯片进行处理和转发,不需要额外的统筹机制,因为每个数据子流都是独立处理并最终在网卡端合并的。相比于传统交换机的单芯片方案,这种多平面架构可以有效地扩展单层网络设备能够支持的端口数量。

在CPO交换机内部,位于可插拔光源模组(ELS module)里面的CW laser通过无源透镜和薄膜滤波器,将信号直接传输到光纤(Fiber Array),再从旁边拉到交换机面板上的MPO接线口。这种方式相当于在两个光纤之间进行中继,直接发出信号(见下图)。下面示意图中的上半张图显示的是英伟达CPO交换机目前使用的方案,即switch芯片和光引擎封装在同一个substrate上。在这之后的下一代产品上英伟达则会采用下半张图的方案,把switch芯片和光引擎放在同一个interposer上,从而实现wafer level CPO (即CoW):

而所谓光引擎,我们可以简单理解为一种集约化的光模块。通过封装成光引擎,可以将多个(比如4或8个)传统光模块集成为一个物理上的引擎,这些引擎和交换机芯片封装在同一个基板上(或未来封装在同一个interposer上),直接将光电转换后的信号传递到交换机芯片近旁,从而减少所需的物理空间,并提高集成密度。笔者在之前文章里展示了台积电光引擎的概念图:

英伟达Q3400 X800 CPO交换机里面每颗交换机芯片是28.8T,而进来的光纤每一条是800G (即0.8T),所以一颗交换机出去需要28.8/0.8=36个通道,一个光引擎handle 4个通道(相当于handle 4个800G光模块),所以一个交换机芯片周围要配36/4=9个光引擎。一颗switch芯片配9个光引擎虽然看上去与台积电的概念图不符(上图中为1配8),但实际上这种不对称的布局也很常见,例如一些高速计算芯片的一侧要连接HBM,另一侧要连接光I/O,就会导致不对称的布局。

0 阅读:137

全产业

简介:感谢大家的关注