摩尔线程开源Megatron-MUSA-Titan训练设施

IT时代网10月28日消息，摩尔线程宣布开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU，聚焦万卡级集群的万亿参数MoE模型训练需求，覆盖预训练与强化学习两大场景，为开发者提供面向MUSA平台的训练适配与系统优化能力。

据介绍，Megatron-MUSA-Titan已在摩尔线程万卡级集群的万亿参数MoE模型预训练中持续应用，经过长时间训练实践检验，实现高模型算力利用率与长稳训练，同时支持与slime、miles强化学习框架协同，结合Megatron训练与SGLang样本生成，构建贯通预训练与强化学习的训练基础。

该项目支持blockwise FP8训练，将摩尔线程全功能GPU的低精度计算能力引入训练流程；还可结合DeepEP与ACE异步通信引擎，加速MoE中的词元分发与结果合并，实现专家并行与计算的通算重叠，提升端到端训练效率。

注：本文配图由AI生成。本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟