独立评估者计划的最新进展

Anthropic 在官方博客宣布,已开始向非营利评估机构 METR 提供“近似员工级”的内部访问权限。METR 将独立发布对 Anthropic 模型风险水平的评估结果。这是对上个月白宫超级智能协议中“与独立外部审计者合作”承诺的落实。过去一年,双方已围绕多份风险报告有过合作。此外,Anthropic 还与 SecureBio、Accenture 等机构合作,并与包括 Hugging Face 在内的多家组织处于早期接触中。

这一动作的背景是:前沿模型能力增强,风险评测也变得更难。Anthropic 希望对外接受监督,但又不能把算力、训练信息等商业敏感内容直接公开,也担心信息被恶意行为者利用。于是他们选择把深度访问权交给少数可信的第三方,由对方基于证据给出独立结论,用来缩小“外部评估者对公司系统的理解”和“公司自己的理解”之间的差距。文章还明确了评估者需要具备四个条件:有评估前沿模型的专业能力,理解评估可能出错的方式(比如对齐造假 alignment faking);保持独立性,不持有被评估方股权,也不在财务或运营上依赖它;获得足以评估风险的访问量,包括模型训练过程和防护机制的信息;拥有发表观察和评估结论的自由。Anthropic 用银行监管做类比:监管者无法只靠公开数据判断银行风险,所以会把审查员派驻到大型银行内部。

所谓“员工级访问”有具体定义。6 名 METR 员工已配备 Anthropic 的硬件、办公空间、内部工具和系统,权限大致与该公司的风险评估团队相当。除客户数据、律师-客户特权信息、模型架构信息等少数明确类别外,Anthropic 员工被鼓励像与同事一样向他们分享信息。METR 可以发布关于风险水平、事件或实践的分析,Anthropic 不能否决发布,但可以要求删减落入上述预设类别的信息;METR 则可以公开说明删减是否合理,只是不能泄露被删减的内容。这套安排还做了隔离:与 METR 的合作只限于一个小团队,受执行协议约束,其他 METR 员工(包括参与其他项目的)无法接触这些工作,避免成为获取敏感信息的通道。

Anthropic 同时公布了未来的三层评估访问机制。第一层:评估者只能做范围很小的风险调查,访问权限由 Anthropic 决定,发布结果需经批准。第二层:评估者可获得更多信息,发布不需要批准,Anthropic 仍可要求删除特定类别信息,但评估者可以公开表达对删减是否合理的看法。第三层:就是与 METR 目前的安排,员工级访问外加近似第二层的发布权。SecureBio 目前处于第一层,正在审查八月份风险报告中关于化学与生物武器威胁的章节;此前它已完成并发布了对上一份风险报告的试点审查。与 Accenture 和 Faculty 的合作则瞄准更全面的项目,包括模型红队测试、一致性评估、防护机制测试和组织能力建设。

这篇文章是机制说明,不是评估结论。它没有公布具体的风险发现,也没有列出时间表。Anthropic 表示,嵌入评估者是自愿行为,并认为每一家前沿 AI 公司都应该做同样的事。作为官方公告,它明确了外部监督正在从口号走向具体的操作安排,但评估的实际效果还有待观察。

An update on independent evaluators

查看原文