OpenAI公开预训练困惑度数据 提议共享指标

IT时代网11月23日消息,OpenAI于11月22日发布由首席科学家撰写的文章,主张把困惑度(等价于交叉熵损失)确立为跨模型开发者比较、并用于形成共同安全标准的指标,同时公开其内部预训练阶段的困惑度测量数据。

文章认为,现代人工智能并非像过去的软件那样针对具体能力分别设计技术,而主要是从训练一个压缩器(也可理解为预测器)的过程中获得智能。因此跟踪压缩能力的进展,是理解人工智能发展脉络的关键。

困惑度衡量的是模型在留出数据集上平均预测下一个词元的能力,数值越低说明预测越准。文章给出的数据是,GPT-3.5在该公司长期跟踪的主要数据集上对数困惑度约为0.99;此后一代模型降到约0.76,此时模型开始产出突破性的数学结果。

文章据此推算,当对数困惑度进入约0.68至0.7的区间时,应当预期出现进一步的能力跃迁,但具体会是什么能力尚无法预判。

OpenAI同时承认,把困惑度做成共享指标存在两方面难处。一是跨实验室比较困难,不同开发者使用的评测数据集与训练数据配比各不相同;二是困惑度与具体的可执行任务并不直接对应,它的价值在于可以预期新能力的出现,而非替代任务级评测。

文章还提到,随着人工智能对自身研发的贡献上升,业界讨论的指标多集中在研究环节的自动化程度上,而预训练阶段的压缩进展相对更能反映底层能力的变化。

编辑:林一舟

THE END