DeepSeek V4.1 Pro灰度测试曝光 硬题多过8道
IT时代网11月8日消息,DeepSeek V4.1 Pro 已进入灰度测试阶段。有AI从业者近日对外展示了新版本的实测成绩:当前线上版本的V4 Pro模型,在自建评测集上的硬题通过率较此前的0813版本上涨16个百分点,排名升至国产模型第一。
这组测试来自AI科普博主、Agent客户端LobeHub的开发者MaxForAI,其使用自建的LobeBench测试集对比当前V4 Pro与V4 Pro-0813两版:0813版成绩为48%,50道题通过24道,排名第13;最新版本成绩为64%,通过32道,多通过8道Hard级别的高难度任务。
判定口径上,测试要求连续三次完成任务而非单次成功。两版“至少一次通过”的成绩差距不大,真正拉开差距的是连续三次完成的能力,排除了偶然性,说明模型能力确有变化。
这意味着当前线上V4 Pro已经悄悄更新过一次,新版本应为等待已久的V4.1 Pro正式版。正式发布时间尚未公布,近期乐观的说法是下周内,当前V4 Pro-0813版的发布即将满三个月。本站此前曾报道过,DeepSeek服务一周内两度出现中断,此次灰测消息也随之受到更多关注。

注:本文中包含AI辅助创作的内容。
编辑:林一舟
THE END