AI智能指数v5上线开源模型差距拉大
IT时代网10月29日消息,一家第三方评测机构推出智能指数v5,这是该机构自今年1月v4上线以来幅度最大的一次基准重构。
最直接的变化是,六成的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据“污染”的空间,减少各家为跑分而“注水”的测试项目。该指数仍由九项评测构成,知识工作、编码、科学、通用能力各占四分之一。
编码权重中,于同日发布的FrontierCode 2.0独占百分之十五。该基准的132项任务全部来自真实开源仓库,模型提交的代码改动不再只按单元测试是否通过判定,而是由仓库维护者按“是否愿意合并这个PR”打分,任何一项阻塞性检查失败即记零分。
在这一口径下,DeepSeek V4.1-Flash 1017在FrontierCode 2.0上录得百分之二十八,是所有已发布权重模型中最高的。不过在v5综合得分上,该模型与GLM-5.3同为32分,仍低于榜首的Claude Opus 5.5。
按该机构的说明,v5真正加剧的是开源与闭源前沿之间的整体距离:上一版中,最强开源模型与榜首的差距是3分,v5把大部分公开题换成私有题、并加重智能体实战任务比重后,这一差距扩大到12分。
与v5同步推出的进度指数v1则处理另一类问题:当基准本身每隔几个月就换一次,不同年代的模型如何放在同一把尺子上比较。该指数把2022年11月以来发布的主要语言模型映射到一条连续的能力尺度上,用于观察能力随时间的演进。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟