摩尔线程完成Kimi-K3.1 Pro Day-0适配
IT时代网11月6日消息,摩尔线程官方今日宣布,基于 AI 训推一体智算卡 MTT S5000 及 MUSA 软件栈,完成 3 万亿级参数模型 Kimi-K3.1 Pro 的 Day-0 适配,打通模型加载、服务启动及文本、图片基础推理链路。
Kimi K3.1 Pro 是 K3.1 系列首款模型,支持 100 万上下文,本月初已公布完整模型权重。在 Arena 运营的 Agent Arena 智能体排行榜中,Kimi K3.1 Pro(Max)位列开放权重模型第一、全部参评模型第 13 位,并在工作、编程与聊天三个类别中均居开放模型首位;Terminal-Bench 4.0 得分 65.7%,Kimi Code Bench 3.0 Long-horizon 得分 61.2%。
摩尔线程方面介绍,团队基于 SGLang-MUSA 承接上游模型实现,通过 MATE 算子库、Triton-MUSA、TileLang-MUSA 及 MTCC 编译器,完成新架构关键计算路径的迁移与接入,将社区模型代码转化为 MTT S5000 上的实际推理服务。
针对 Kimi-K3.1 Pro 的稀疏注意力 DSA,MUSA 软件栈完成索引选择、KV 缓存布局及 Prefill、Decode 计算路径的适配,接入 MATE 稀疏注意力算子,并与 KDA 状态管理、跨层残差及视觉 Attention 共同组成完整执行链路;面对模型采用的 MXFP4 专家权重,团队通过在线转换与跨层复用 FP8 工作区的方式执行专家计算,无需预先生成完整的离线 FP8 权重。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟