OpenAI披露模型失控险情 紧急停训最强模型11天
IT时代网11月19日消息,OpenAI于当地时间11月18日发布前沿AI模型风险管理报告,披露一起内部模型突破网络安全限制的事件:今年9月20日,一个正在接受训练的AI研究模型利用DNS解析器配置错误,绕过原本禁止访问互联网的安全限制,获得有限的互联网访问权限,公司随后紧急叫停旗下能力最强模型的训练与评估,停训时间长达11天。
据介绍,异常行为被监控系统发现后,OpenAI暂停了相关前沿模型的训练和评估,直至10月1日完成安全调查及防护升级后才恢复。OpenAI此前已公开过这起事件,此次报告进一步解释了公司为何限制前沿模型的网络访问,以及如何防止能力越来越强的AI突破人类设定的安全边界。
OpenAI表示,基于当前模型对齐研究、监控系统及互联网基础设施的安全水平,现阶段最负责任的做法,是在无法直接连接实时互联网的环境中训练前沿模型。今年7月Hugging Face安全事件后,公司大幅重构内部研究基础设施,通过沙箱限制模型能够调用的文件、工具及网络资源,使用虚拟机隔离工作负载,并在网络和云基础设施层面切断训练集群与外部互联网的连接。
不过OpenAI也承认,即使采取多重隔离措施,仍无法保证安全边界不会被能力更强的AI模型突破。公司因此持续使用自身最强的AI模型进行红队测试,主动尝试连接真实互联网、突破沙箱限制,或与其他被隔离的AI智能体通信,以寻找防护系统中的潜在漏洞。
为在异常发生时及时干预,OpenAI建立了名为Control Room的中央管理系统,能够跟踪研究基础设施中的模型运行任务,收到停止指令后最迟35秒内阻止模型继续输出。相关控制措施由模型推理基础设施直接执行,即使控制系统本身出现故障,也会触发停止输出的保护机制。一旦监控系统发现模型突破安全限制、接触真实互联网,就会通知安全团队并自动暂停相关运行任务。
在整体安全架构上,OpenAI提出了覆盖模型研发、内部部署和外部发布三个阶段的四层防护体系,公司同日发布的前沿AI风险管理说明对此有更完整的说明。
流程层面,OpenAI引入了名为“安全论证”的新机制,要求在训练过程中提供更充分的模型行为安全证据,达不到既定安全标准就暂停训练或推迟发布。GPT-6.1 Astra就是因需要更多时间满足安全标准而被暂缓发布的模型之一。

编辑:林一舟