OpenAI披露对抗蒸馏防护体系 严控推理痕迹外泄

IT时代网11月21日消息,OpenAI 发布关于对抗蒸馏的安全研究,说明其检测和阻断未经授权蒸馏的方法。所谓对抗蒸馏,指行为方未经授权使用前沿模型的输出训练出能力相近的模型,再以更弱的防护将其部署。

OpenAI 认为,风险在网络安全、生物等两用领域尤为突出:帮助防御者发现软件漏洞的模型,同样可能帮攻击者利用漏洞;辅助生物学研究的模型也可能被用于制造有害病原体。一旦相关能力被蒸馏到防护更弱的模型,它可能提供原模型本来会拒绝的协助。

内部研究显示,推理痕迹的保护尤为关键。在网络安全能力迁移实验中,团队用同一预训练学生模型分别以完整推理痕迹和推理摘要做微调,前者在多项基准上普遍优于后者。结论是保护完整推理痕迹可以限制网络攻击能力的迁移,即便教师模型执行的任务本身符合使用政策。

防护体系分两个层面。在请求层面,模型行为训练、分类器检查与接口控制共同限制推理痕迹被提取:输入分类器识别提取企图,输出分类器可以在疑似泄露的内容返回调用方之前实施拦截,覆盖流式与非流式响应以及工具调用参数。

在行动层面,OpenAI 通过请求与账号信号的组合模式识别有组织的批量提取尝试,调查中发现的攻击样本又会用于训练与测试防护体系。OpenAI 表示将继续与行业共享经验,强化整个行业的蒸馏防护。

注:本文配图由AI生成,文中包含AI辅助创作的内容。

编辑:林一舟

THE END