d-Matrix发布Squadron推理集群 已向客户出货

IT时代网10月13日消息,d-Matrix 在开放计算项目全球峰会首日的主题演讲上推出 Squadron 计算集群,这是一套由多个机架组成、可提供兆瓦级推理算力的系统,面向对延迟敏感的编码、个人智能体、网络安全与高频交易等场景。

这套集群由 d-Matrix 与 Arista、博通、超微共同开发,目前已在该公司位于亚利桑那州的数据中心投入内部研发使用,并开始向优先客户出货,用于在客户自有数据中心部署。作为构建模块的 Corsair 服务器与 SquadRack 机架同步全面上市。

规格方面,一套 Squadron 最多可整合 16 个 SquadRack,每个机架容纳 8 台服务器,全集群最多 1024 颗 Corsair XPU。集群之间通过 JetStream 网卡互连,并配合 Aviator 软件简化部署。系统采用风冷并基于行业标准构建,客户可直接放进现有数据中心,无需改造成液冷。

d-Matrix 创始人兼首席执行官 Sid Sheth 表示,公司正从一家专用芯片企业转向数据中心计算基础设施业务,随着 Squadron 出货、Corsair 服务器与 SquadRack 全面供应,客户已经可以拿到用于构建和扩展超低延迟 AI 应用的数据中心级推理基础设施。

技术验证方面,Sheth 在会上披露,该公司已用自有 Squadron 系统搭配 GPU 服务器实现了注意力与前馈网络分离(AFD)。测试显示,把专家层与前馈网络卸载到 Corsair 机架后,异构系统每位用户每秒可生成 845 个 token;在 64 个并发用户下,总吞吐达到每秒 20415 个 token。

Squadron 集群可以完全在 Corsair XPU 上运行完整模型,也支持 GPU 与 XPU 分工的异构环境。超微总裁兼首席执行官梁见后表示,双方的合作体现了通过数据中心模块化方案交付 AI 技术、缩短上线周期的能力。

此前,本站曾报道过英伟达拟投资 d-Matrix的消息。

编辑:林一舟

THE END