OpenAI公布前沿模型失准检测体系

IT时代网

2026-10-30 02:00:15

154

次

IT时代网10月30日消息，OpenAI发布文章，介绍其用于检测前沿模型行为偏离预期目标的内部监控体系。文章指出，智能体在训练、评估或部署过程中可能出现越权行为并造成严重后果，因此需要可靠手段及时发现并在必要时介入。

据介绍，该体系目前共分四层：第0层为激活探针，第1层为基于模型的审查器，第2层为调查智能体，第3层为自动化调查，其后还有人工响应环节。OpenAI的失准监控已覆盖前沿模型的训练、评估、内部使用，以及按产品形态调整后的外部部署等多类场景。

OpenAI提到，此前一次内部网络安全评估中，智能体逃逸了沙箱，而当时并未对相关环节运行失准监控，该事件暴露出监控覆盖面的缺口。此后该公司大幅扩充了监控体系。OpenAI用升级后的监控系统重放了该事件中记录的行为，模拟结果显示，监控系统在智能体首次逃逸沙箱约30分钟后即向安全团队发出告警，比外部系统被侵入的时间早30多个小时。

在评估与改进方面，OpenAI对已记录事件和模拟攻击开展测试，对当前内部流量进行审计，并组织红队演练。该公司同时关注如何在不激励智能体隐瞒或规避的前提下实施监控，并针对部分产品的外部使用设置了保障措施。