前 言
长序列、MoE等大模型技术的涌现,推动AI算力集群加速向大规模超节点架构演进,Scale-up网络的规模与带宽需求呈指数级增长。在互联技术选型上,单机柜铜互联方案逼近物理极限;可插拔方案在224G速率下的电链路插损剧增,增加DSP会带来成本和功耗的代价;CPO方案封装集成难度大,且生态封闭。
NPO(Near Packaged Optics,近封装光学)将光引擎部署在主芯片附近,大幅缩短电链路,具备低功耗、低时延与模组级可维护等技术优势,是兼顾性能、成本与可用性的开放解耦方案。但要让NPO的价值完整兑现,仅有模组远远不够,光引擎必须依托与之匹配的系统设备才能组网运行。NPO交换机,正是承载NPO技术走向规模化部署的重要系统载体之一。
为此,我们基于3.2T NPO模组产品,设计开发了102.4T NPO交换机,并同步发布《102.4T NPO交换机设计参考规范》,从系统架构、整机结构、光纤理线到软件运维,给出了一套完整的NPO交换机设计方案。
背景:Scale-up为什么需要NPO交换机
Scale-up网络在部署形态上分为集中式与分布式两类。集中式超节点(如NVL72)通过铜互连实现GPU单层级组网,该方案设备高度集中,会带来散热、供电与结构承重的压力,铜互连的传输距离也制约了集群扩容。分布式超节点(如CloudMatrix 384)将GPU分散部署于多个计算柜,经两级交换芯片互连,降低了单机柜集成度,但推高了网络成本与转发时延,两级网络也会增加流量调度与管理的复杂度。
NPO为分布式超节点提供了第二条实现路径:NPO放置于主芯片周边,首先可以实现去DSP芯片,降低光电转换模块的功耗与延时;其次结合Shuffle技术可在单层组网下支持更大的Scale-up规模,进一步降低网络成本与转发时延。依托102.4T交换芯片和3.2T NPO模组,可以组成全光互连的512卡超节点Scale-up网络。
图 1:512卡超节点一级Scale-up组网拓扑
相比传统可插拔交换机,102.4T NPO交换机有多重收益:1. 省掉了光电转换模块内部的DSP芯片,整机功耗降低约1000W,端到端传输时延减少近100ns;2. 高速信号传输路径短,可以很好地支持线性直驱,实测全端口BER优于1E-10;3. 当前机电平台可平滑升级至204.8T,并有机会演进到409.6T。在超节点组网中,Scale-up网络对互连功耗和时延更敏感,而NPO交换机恰恰在这两方面都更具优势,且随着信号速率升级到224G,NPO交换机的功耗和性能优势会进一步放大,所以NPO交换机是未来支持Scale-up网络带宽和规模增长的一条重要产品路径。
102.4T NPO交换机设计解析
102.4T NPO交换机沿用腾讯自研交换机通用硬件平台,高度4RU,管理卡前置且支持现场插拔维护。整机搭载1颗102.4T交换芯片、32个3.2T NPO模组与32个ELSFP外置光源模块,对外提供128个800G MPO16光接口。32个NPO模组环绕交换芯片四周对称布局,每个模组分配32个100G(112G PAM4)通道,对外出4个MPO16光接口。
与传统交换机相比,NPO交换机的设计逻辑发生了根本变化:光引擎从面板移到芯片旁,光纤从机外延伸进机内,模组从“分钟级插拔”变为“压接式装配”,管理对象从“一个模块一条通道”变为“多个逻辑端口共享物理器件”。这些变化带来了全新的工程挑战。
图 2:102.4T NPO交换机前视图:
32×3.2T NPO+32×ELSFP,对外128×800G(MPO16)
1 布局与散热:光引擎贴近芯片的代价
传统可插拔交换机的光模块排列在面板侧,主板布局通常只需要考虑交换芯片本身的供电和散热需求;而NPO交换机则完全不同,32个NPO模组必须紧贴交换芯片,最大限度缩短高速信号走线,降低插损。这相当于把原本分散在128个面板端口的电路,压缩进芯片周围的一圈“黄金地带”,使得PCB布局空间极为紧张。NPO模组密集部署在交换芯片四周,也会带来热源集中,局部热流密度高的问题,加之NPO模组对温度也更为敏感,这些难题都给交换机散热带来了新的挑战。
图 3:32个NPO模组环绕102.4T交换芯片布局
为应对布局挑战,产品设计上采取了多项协同优化:主板采用Ultra Low Loss材料,板上插损(HOST+PKG)≤ -13dB@26.56GHz,满足线性直驱规范要求。芯片核心电源采用自主设计的独立供电模块,并将供电模块布局于芯片正背面,避开NPO模组的同时,又可缩短供电路径,降低PDN阻抗,提升电源瞬态响应。
针对光引擎与电芯片耦合散热的难题,不仅需要给NPO设计独立散热器,还需要考虑如何将NPO与主芯片的散热解耦。风冷方案中,NPO散热器采用热管拉远方式,散热器翅片完全避开主芯片风道,降低入风温度。同时,产品设计前瞻性地预留了冷板扩展能力,32个NPO模组采用4组独立冷板设计,冷板之间用可浮动铜管连接,吸收冷板装配产生的应力。NPO模组与散热器之间使用弹性导热材料解决高度差和接触热阻问题,冷板上方用弹簧和NPO盖板固定,控制整体扣合力。交换芯片冷板使用高密度铲齿设计,应对高功率场景,支持向下一代204.8T产品演进。
图 4:NPO风冷散热器与液冷冷板
2 光纤理线:给机内光纤铺好“专用车道”
传统交换机的光纤全部位于设备外部,机内几乎没有光纤;而102.4T NPO交换机内部有32个NPO模组和32个ELSFP模块,数百根光纤需要在机箱内部完成从模组到面板Adapter的走线。机内光纤理线既要考虑对走线路径与折弯半径的控制,又要保证组装效率和维护便利性。
产品设计了系统级的理线方案:一是理线架约束路径:NPO出线区域两侧设置对称分布的光纤理线架,以交错齿形结构束线,保证所有光纤的折弯半径与走线路径一致、不外溢;二是绕线盘收纳冗余:在主板与面板中间区域设置可拆卸上盖的光纤绕线盘,将冗余光纤统一绕线固定,使得NPO光纤长度规格收敛到3种以内;三是兼容扩展:当前产品设计兼容NPO直出光纤到面板方案和机内中继方案,配合专用装配工装,机内光纤的规模化装拆效率得到有效保障。本产品是单芯片设备,无内部光纤交叉需求,采用光纤直出面板方案更简洁,还可以避免增加光路接插件带来的光通道插损和回损的劣化;对于单机多芯片设备,当有光通道交叉需求时,推荐使用内置Shuffle方案,降低设备外部布线难度,提升建设和运维效率。
图 5:交换机内部光纤理线图
3 模组压板:组合盖板化解公差积累
NPO模组通过LGA Socket与主板互连,必须对模组顶部持续施加稳定压力才能保证可靠接触。单个模组的压板设计并不难,但NPO交换机每个方向有8个模组并排,受PCB布局布线约束,模组间距和螺钉孔位均受限,只能多个模组共用一块上盖板。传统整体盖板受Socket与模组Z方向尺寸公差累积影响,容易出现压力传递不均匀、甚至传递不下去的风险,8个模组的公差叠加,任何一处虚接都可能导致链路失效。
为了应对这一难题,产品创新地使用了组合盖板设计:小盖板通过螺钉单独锁附在大盖板上,自带弹性橡胶圈,逐一吸收各模组的装配公差,保证8个模组压力一致;大盖板通过弹簧螺钉固定在主板上,依靠弹簧压缩产生持续稳定的压合力,平整度控制在0.1mm以内;主板背面设计BP结构件与大盖板互锁,防止PCB受压变形,并对BP结构件做局部挖空以避让背面器件。从结构、材料到工艺形成闭环,把“压不紧、压不均”的系统性风险化解在装配环节。
图 6:组合盖板装配爆炸图:
小盖板+橡胶圈吸收公差,大盖板弹簧施压,BP结构件防止PCB弯翘
4 软件运维:让NPO“像传统光模块一样好用”
NPO模组与ELSFP模块在管理面上与传统可插拔光模块有显著差异:其一,NPO/ELSFP通过基于CMIS协议的三维地址空间(Bank:Page:Byte)访问寄存器,比传统光模块多了Bank切换操作;其二,NPO与ELSFP使用不同的管理通道,但多个逻辑端口却需要共用一个NPO或ELSFP的管理通道,对应同一EEPROM的不同Bank,所以需要同时考虑基于端口和物理器件的管理需求。若照搬传统光模块的软件栈,上层应用将面临大规模改造。
软件设计采用“底层驱动屏蔽、分层节点管理”的方案,让上层应用零改造兼容:底层驱动内置“逻辑端口偏移→Bank ID+Page ID+页内偏移”的映射逻辑,自动处理Bank/Page切换与并发互斥锁;管理EEPROM分为端口级与器件级两层节点——端口级节点用法与传统光模块完全一致,支持逐端口独立控制与状态上报;器件级节点可访问完整寄存器空间,满足固件升级、全量配置校验、故障批量Dump等场景。此外,针对外置光源引入的协同问题,产品定义了严格的上电与初始化时序:按MAC→NPO→ELSFP顺序上电,ELSFP先输出半光并完成进光检验后再输出全光,软重启先关光再复位,从软件机制上避免链路状态异常。
图 7:NPO和ELSFP管理总线拓扑
图 8:NPO与ELSFP初始化时序
总结与展望
回顾102.4T NPO交换机的设计,核心思路可以概括为三条:一是近芯片化,32个3.2T NPO模组环绕交换芯片布局,把电链路压缩到极致,从源头解决高速信号完整性问题;二是系统协同,针对布局、理线、压合、散热等NPO特有的工程问题,以自研供电模块、理线架+绕线盘、组合盖板等结构性创新逐一化解;三是开放解耦,NPO与ELSFP模组基于标准规范设计,软件管理兼容传统光模块生态,整机设计以参考规范的形式向产业链开放,推动NPO从私有方案走向开放生态。
开发NPO交换机的过程中虽然遇到了一些难题和挑战,但同时也让我们对后续NPO产品的技术演进有了更多思考:①NPO模组和尾纤一体,无论哪端故障都需要整体更换,在多模组复杂系统下,整个替换过程耗时较长;如果未来NPO支持可插拔FAU,模块本体拆装和尾纤理线就可以解耦,从而大幅缩短维修时间。②ELSFP作为NPO的外置光源,在现网运行中,一旦失效可以快速进行替换,降低了MTTR;但ELSFP和NPO分离也带来了一些问题,比如ELSFP需要单独设计载板且会占用设备面板空间、传输光源所需的保偏光纤成本高、可插拔形态引入了端口脏污风险等。基于现网运营数据,激光器实际运行失效率很低,NPO模组内置激光器在某些场景下会更有优势,是后续要重点关注的一个技术方向。③3.2T NPO模组采用2D封装技术,模组占板面积大,NPO模组无法紧贴芯片布局。随着封装技术的发展,可采用2.5D或3D封装技术实现模组小型化,模组布局更加靠近芯片,缩短高速走线,进而减小信号传输损耗。
面对未来Scale-up互连带宽和组网规模的持续增长,我们启动了下一代6.4T NPO模组与204.8T NPO交换机的研发工作。随着标准、模组与交换机的协同成熟,NPO将支撑超节点Scale-up组网从512卡向千卡乃至更大规模演进,为AI算力基础设施提供更高效、更开放的全光互连解决方案。
来源:公众号 鹅厂网事作者:杨光 崔鹏
纽瑞德气体是专业特种气体服务商,主营高纯稀有气体、电子特气、标准混合气、同位素气体,包含氦气、氖气、氙气、六氟化硫等,纯度可达 5N 以上。配备专业检测设备,支持定制配气,可提供充装、危化品配送与技术支持。产品服务半导体、电力、光纤、航天科研等行业,为高端制造提供可靠特种气体配套。致电:17764012828投稿与新闻线索:邮箱:tuijiancn88#163.com(请将#改成@)
特别声明:光纤光缆行业企业推荐网转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。