英伟达重启RubinCPX推理加速GPU项目
IT时代网9月1日消息,分析师最新产业调查显示,NVIDIA(英伟达)已重启面向人工智能推理预填充加速的GPU“Rubin CPX”项目,不过其设计进行了大幅度调整,预计2027年第一季度开始生产。
在芯片级别,新Rubin CPX拥有接近标准Rubin GPU的算力,预填充性能进一步提升,单体最高功耗同为2300瓦,配备168GB HBM4内存。来到托盘与机架级别,8颗新Rubin CPX构成1个计算托盘,8个计算托盘构成1个机架模组,内部以Spectrum-6全铜以太网横向扩展;新Rubin CPX采用独立的MGX ETL机架,每个机架包含1至4组机架模组,模组间横向扩展采用Spectrum-6与OSFP光学方案。
系统层面,NVIDIA建议Rubin CPX与标准Rubin按1:1配对,Rubin CPX ETL机架与Vera Rubin NVL72机架之间采用基于以太网的RDMA连接。这位分析师评论称,目前AI推理工作量中超过50%用于处理输入并建立相应的KV Cache,新Rubin CPX能以更具弹性的部署方式与更低成本承接预填充负载;其计算托盘具备1.34TB HBM内存,足以满足大多数长上下文预填充与KV Cache建立需求。

注:本文综合自IT之家等,文中包含AI辅助创作的内容。
THE END