Kimi K4爆料:参数规模5.4万亿 明年二季度问世
IT时代网11月7日消息,大模型的性能上限依然要看参数规模。国产大模型目前追到了3万亿级别,而公认最强的Mythos/Fable被认为在5万亿参数量以上。有爆料称,月之暗面下一代的Kimi K4明年能做到5.4万亿规模。
按照月之暗面今年的大模型路线图,已出的旗舰产品Kimi K3及K3.1 Pro都是2.8万亿参数量,后续还有Kimi K3.5,参数量提升到3万亿,后训练数据量提升到10万亿规模,预计明年春节前后问世。
再往后的旗舰产品就是Kimi K4,参数量进一步扩大到5.4万亿,差不多是K3的两倍,这一爆料与此前野村证券公布的5万亿至6万亿参数量相符。
到了这个级别,国产AI的性能上限有望真正接近Mythos/Fable级别。K4的发布时间在明年二季度,晚一点就是三季度,时间上比海外最强模型晚大约一年,国产AI训练面临的算力瓶颈和数据量挑战更高。
在K4和K3.5之前,月之暗面还会继续扩展轻量级大模型,Kimi K3 Flash年内上市,预计接替当前的Kimi K2.8。
从爆料看,月之暗面目前的算力够用,能支撑当前研发,只是上限有些不足,可以通过压缩技术应对,当前重心放在自蒸馏及后训练上。

注:本文中包含AI辅助创作的内容。
编辑:林一舟
THE END