Anthropic发布FlashProve开源系统可验证AI输出来源

IT时代网11月4日消息,Anthropic 正在开发一套开源系统,用于验证某一 AI 输出究竟由哪个模型生成。根据该公司发布的一篇博客文章,这套名为 FlashProve 的系统旨在实现研究人员所称的“可证明推理”,通过密码学证明为特定输出提供数学层面的保证,证明其确实来自某个指定模型,用户可以据此确认收到的答案是否真的由其认为正在使用的模型生成。

FlashProve 的工作原理类似加密电子邮件签名:后者能帮助收件人确认邮件是否确实来自其声称的发件人,FlashProve 同样能够抵御试图将一个模型伪装成另一个模型的行为,即使伪装实施者正是开发并运行该模型的 AI 公司,也难以绕过验证。研究人员指出,该系统的作用还包括防止 AI 公司为削减成本暗中换用更便宜的模型,或避免企业为抬高性能测试人为换用更昂贵的模型。

该系统还可用于验证第三方关于某项任务由先进模型完成的声明,例如验证某软件库是否已被某个前沿网络安全模型扫描过漏洞、或某项商业计划是否获得了适当模型的认可。实现该目标需要为发布的每个模型提供“指纹”,再将其与特定输出进行匹配并通过密码学方式验证来源。关键之处在于,这些指纹不会泄露模型权重,也就是决定模型行为的内部参数,因此同样适用于商业闭源模型开发商。

该系统在设计上力求轻量化,用户可以直接在本地设备上完成验证。作为此次发布的一部分,Anthropic 研究人员公布了详细技术规范及各组成部分的可运行代码,这些代码已在 GitHub 上以开源许可证公开。目前 FlashProve 相关研究仍在进行中,Anthropic 尚未计划在自家或其他 AI 实验室部署这套系统。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:周艺

THE END