英伟达称DSX平台可提升每兆瓦Token产出
IT时代网9月16日消息,英伟达超大规模与高性能计算业务副总裁 Ian Buck 在 AI Infra Summit 上谈到了 AI 工厂的效率问题。这场在圣克拉拉会议中心举办的活动今年吸引了超过 8000 名参会者,去年这一数字为 3500 人。
按照他的说法,衡量 AI 基础设施的指标正在从峰值性能转向每兆瓦可验证的智能体 Token 产出,AI 工厂需要从芯片到电网协同设计。英伟达给出的方案是覆盖 Vera Rubin 系统、Dynamo 推理软件、NeMo 库以及 NVLink、Spectrum-X 以太网、ConnectX SuperNIC 和 BlueField 的全栈平台。
在全厂级功耗优化的加持下,NVIDIA DSX MaxLPS 的每兆瓦 Token 产出最高可提升 1.4 倍。
能效之外,电网协同也是本次披露的重点。Emerald AI 与英伟达在 Silicon Valley Power 的灵活负荷接入项目中演示了自动降载:系统在数百次需求信号下完成响应,同时保住了 AI 负载的性能表现。Emerald AI 还计划基于 DSX Flex 运行其 Conductor 电网响应电源管理软件,根据实时电价与电网信号动态调整 AI 工厂能耗——关键任务继续运行,其余负载暂时挂起,待信号解除后自动恢复。

编辑:林一舟