百度开源文心5.5 Flash基座模型总参数280B

IT时代网11月5日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练,最长训练上下文 128K,微调与推理支持 1M tokens 上下文。

本次发布的权重未经中训练与后训练,可作为领域适配、指令微调和强化学习研究的共同起点。官方表示,Base 模型只是起点,经过后训练的 ERNIE 5.5 Flash 将随后推出。

训练侧采用 Muon 优化器与 FP8 混合精度,优化器为分布式 Muon:数千卡规模下 Dense 参数与 MoE 参数的跨机通信合并为一次集合通信;注意力算子采用基于 CuTe-DSL 的 FlashMask-4,支持 SM90 与 SM100 架构,head dim 最高支持 576(qk)/ 512(v)。

文心大模型在 30 项 Benchmark 上评测了该模型,涵盖综合、知识、理科、推理、多语言、代码与长上下文七类能力,并列出同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 的结果。长上下文方面,43 层中有 37 层在 128 倍压缩后的序列上做注意力,6 层 MLA-DSA 支撑细粒度检索。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END