Anthropic 开发验证 AI 模型身份的开源系统

Anthropic 正在开发一个开源系统,用于验证某个输出到底来自哪个 AI 模型。这套系统名为 FlashProve,核心是提供一种名为“可验证推理”的密码学证明,本质上是一份数学保证:给定输出确实来自某个特定模型。用户可以用它确认自己收到的回答,真的来自他们以为的那个模型。

这个思路类似加密邮件签名:收件人可以通过签名确认邮件确实来自声称的发件人。FlashProve 要对抗的,是试图把模型 A 伪装成模型 B 的冒名顶替者——并且这种冒名顶替者可以是实验室本身。研究者特别指出,这套系统能防止 AI 公司为了省钱偷偷换成更便宜的模型,或者为了虚报性能换成更贵的模型。它也能用来验证第三方声称“某个任务是由某个高级模型完成的”这种说法。比如,一个开发者声称自己的软件库由前沿网络安全模型扫描过漏洞,或者一家公司声称其商业计划得到某个合适模型的批准,用户如何验证这些说法?FlashProve 就是为了回答这类问题。

实现方式上,系统要求 AI 实验室发布每个模型的“指纹”,之后可以把具体输出与指纹做密码学匹配。关键点在于,指纹不会泄露模型的权重——权重是定义模型行为内部数字,也是 Anthropic、OpenAI 这类闭源模型厂商最核心的资产。因此实验室可以公开指纹而不必交出权重,这套系统也因此能适用于商业模型。此外,FlashProve 被设计得足够轻量,验证可以在本地设备上完成。

Anthropic 研究人员在公告中发布了详细的技术规格,以及系统各组件的可用代码,以开源许可证公开在 GitHub 上。目前研究还在进行中,没有计划在 Anthropic 或其他实验室部署。研究者明确表示:“这篇研究博文意在分享阶段性进展,而非完整的研究议程。我们分享它,就是希望别人能看看我们做了什么,拿去用,并加以改进。”

Anthropic is working on a system to prove AI models' identity | TechCrunch

查看原文