微软完成MAI-Base-2预训练 参数规模2.8万亿

IT时代网10月16日消息，微软当地时间昨日宣布，其已经完成了新一代 SOTA 基础模型 MAI-Base-2 的预训练工作。这一模型在性能方面强于所有参测开源权重模型。MAI-Base-2 总参数规模达 2.8T，活跃参数规模 80B，在 6000 个英伟达 GB200 GPU 上历经 38 天训练而成。

在整个训练过程中，该模型平均浮点算力利用率为 21%、有效吞吐量为 89%。根据微软的说法，MAI-Base-2 的预训练算力效率是 DeepSeek-V4-Pro-Base 的 4 至 12 倍。微软表示，三项举措对于 MAI-Base-2 的成功预训练尤为重要：科学规模化、模型与基础设施协同设计、数据规模化。

在完善 MAI-Base-2 的同时，微软已启动 MAI-Base-3 的准备工作。

注：本文配图由AI生成。本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟