华为昇腾实现Kimi K3.1 Pro 0 Day推理适配

IT时代网11月5日消息,华为计算公众号11月4日消息,月之暗面正式公布Kimi K3.1 Pro完整模型权重。昇腾基于vLLM Ascend、SGLang同步实现0 Day推理适配,支持昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品进行Kimi K3.1 Pro的推理部署。

围绕模型新增的稀疏注意力、百万级上下文及推理服务需求,昇腾开展算子与框架协同优化,支持用户及开发者在模型发布首日开展部署与应用验证。

Kimi K3.1 Pro是K3.1系列的首个模型,拥有2.8万亿参数,原生支持视觉理解,具备百万token上下文窗口。模型在K3基础上进一步扩大后训练规模,在代码开发、3D创作、金融研究、事实准确性和长程智能体任务等方面实现能力提升。

在计算架构上,K3.1 Pro采用混合线性注意力,结合KDA线性注意力层和DSA稀疏注意力层。发挥这一架构的计算优势,需要对算子执行、缓存管理与跨卡通信进行协同优化。本次适配围绕核心算子优化与推理特性支持展开,覆盖历史信息筛选、稀疏注意力计算、预处理与残差计算,并结合分布式缓存和框架能力叠加,支撑长上下文推理与服务部署。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END