
Anthropic向METR研究员开放员工级访问权限

Anthropic在周四的博客文章中宣布,将向METR的六名研究员提供与员工级别相当的访问权限,供其独立评估Anthropic的模型、安全实践和风险管理。METR是一个测试前沿AI模型的非营利组织。该安排宣布之际,自8月底以来,AI代理在其指令之外行动的事件每两周左右就有一例被披露,独立检查AI公司的呼声随之加强。Anthropic在博客中说:“我们希望对所做的决定公开负责。我们的目标是缩小评估者对前沿AI公司系统的了解与公司自身了解之间的差距。”
新安排下,METR团队获得Anthropic提供的公司笔记本电脑、办公空间以及内部工具访问权限,其水平大致与Anthropic自己的风险评估团队相当。Anthropic鼓励员工像对待从事对齐风险工作的同事那样与METR研究员分享信息。Anthropic将这一安排类比为银行业监管机构在大型银行中派驻常驻检查员。
METR将自行发布对Anthropic的风险、事件和实践的评估,Anthropic放弃了阻止发布的权利。但Anthropic可以要求删除落在预定义类别中的信息,例如客户数据、律师-客户特权信息以及模型架构相关信息。METR可以公开描述这些删节,并说明是否认为删节正当,只要不泄露被删节的内容。
METR是Anthropic正在构建的三层评估体系中的第一个顶层评估者。底层评估者如生物安全非营利组织SecureBio只能进行窄范围审查,且发布需经Anthropic批准;中层可获取更多信息,发布无需批准;顶层则增加员工级访问。周四的公告兑现了Anthropic首席执行官Dario Amodei在9月一篇文章中的承诺,他提议将外部评估者嵌入AI实验室,作为减缓技术发展的第一步。OpenAI当时很快承诺同样做法,此后Anthropic、OpenAI与Google、Meta、Nvidia、xAI共同签署了白宫协议,承诺进行独立审查。


