研究称 AI 基准仅覆盖 5% 任务

IT时代网10月18日消息，一项新分析显示，用于衡量人工智能表现的基准测试，无法有效评估构成真实人类工作的详细任务中的约 95%。

人工智能训练数据公司 Mucore 发布了一张交互式地图，展示人工智能基准在美国各职业中的适用范围。该地图把 29 个自选基准套用到美国劳工部职业分类体系下的 923 个职业与 18797 项相关任务上，用以呈现现有基准是否真正评估了人工智能执行具体任务的能力。

地图显示，923 个职业中只有 208 个（22.5%）得到了充分评估。在 18797 项详细任务中，只有 924 项（约 5%）被含有五道以上题目的基准正确覆盖。

Mucore 表示，美国人的工作时间里约 90% 花在现有基准很少或从未触及的任务上，要判断人工智能模型在真实工作上的表现极为困难。现有基准无法可靠预测人工智能是否可以替代人力。

各职业群体的基准覆盖差异明显。在计算机与数学领域，36 个职业中有 29 个被测量；在商业与金融领域，48 个职业中有 33 个被评估；在法律领域，7 个职业中有 5 个被评估。相反，89 个医疗相关职业中只有 12 个、62 个教育与图书馆相关职业中只有 9 个被纳入基准。

Mucore 指出，中等收入的知识型岗位因规模较小，测量明显不足。那些人工智能能够快速替代的结构化办公室工作，同样缺乏这类基准数据。此外，许多工作流程涉及体力劳动，是当前基准无法测量的。该公司还表示，美国 63% 的岗位包含现有基准未覆盖的体力任务。

Mucore 警告，如果这一测量缺口得不到解决，理解人工智能能力将长期存在重大盲点。业内人士补充称，如果无法准确评估人工智能能否取代众多岗位，劳动力市场与政策领域就可能出现重大冲击。

注：本文配图由AI生成。

编辑：林一舟