月之暗面开源Kimi K3 首个2.8万亿参数开源模型
IT时代网7月28日消息,月之暗面正式开源Kimi K3模型权重和技术报告,并同步公开支撑模型训练的关键基础设施:MoonEP、FlashKDA和AgentEnv。官方表示,Kimi K3是首个达到2.8万亿参数规模的开源模型,在过去12个月中的9个月里,Kimi模型都保持着开源模型的规模上限。
在技术架构上,Kimi K3进一步扩大了混合专家模型的稀疏度。结合Stable LatentMoE框架后,模型可以在896个专家中高效激活16个。再加上训练方法和数据配方的优化,这些结构性改进让Kimi K3相比前代K2的整体扩展效率提升约2.5倍,能更有效地将算力转化为模型能力。

K3模型发布后不久,特斯拉CEO马斯克在一则相关评测报道下留言"令人印象深刻",这是他继今年3月点赞Kimi底层架构技术报告后,第二次公开认可该团队。不过赞赏余温未散,马斯克随即在社交平台宣布,旗下AI公司正在训练的2万亿参数新模型将于下周完成初步训练,并称其全面优于1.5万亿版本,且"可能超越Kimi"。面对马斯克的隔空表态,Kimi官方回应称欢迎马斯克加入"2万亿+俱乐部"。
商业化方面,月之暗面总裁张予彤此前在社交媒体披露,K3模型发布后企业年度经常性收入实现数倍快速增长。据悉,6月中旬该公司ARR已突破3亿美元,其中API收入占整体收入七成以上并持续提升。此轮收入增长主要来自模型迭代带动的开发者使用和API收入提升。
资本市场层面,月之暗面Kimi上一轮估值200亿美元的融资于近日完成交割,新一轮融资已经启动,目前企业投前估值涨至315亿美元。另据市场知情人士透露,月之暗面已向投资人发送上市议案,预计最快6个月内有望完成港股上市。
值得注意的是,7月19日月之暗面Kimi发布通知,决定即日起暂停C端新用户订阅,将已有算力全部投入服务已订阅用户,保障已订阅用户的全部权益不受影响。同时其已在全速推进算力扩容,随着新算力陆续到位,将逐步开放更多订阅名额直至全面恢复正常订阅。对于后续新订阅用户,将拆分Kimi主权益和Kimi Code权益,以更精准匹配算力,保障用户体验。