Anthropic 正在向美国国会推销一份新的 AI 安全法案草案。据 Politico 报道，这份草案设想了可以阻止 AI 模型发布的场景：当模型存在”可预见的、迫在眉睫的风险”，且可能导致超过 50 人死亡或超过 10 亿美元财产损失时，发布可以被叫停。这里的”灾难性风险”被限定为源于生物武器的制造或释放、模型逃避开发者控制，或网络攻击。这组数字与加州最近通过的参议院第 53 号法案（Senate Bill 53）中对”灾难性风险”的定义相似。

草案提出由”独立评估者”分析模型的潜在灾难风险。这些评估者需在美国商务部注册，可以由 AI 实验室支付费用，但前提是”付款不取决于评估结果”。文章同时指出，目前不清楚这套系统如何确保付款不会影响评估。当评估者认定存在迫在眉睫的灾难性风险时，他们有 72 小时通知商务部；商务部随后需要请求华盛顿特区的法官阻止模型发布。法案明确禁止任何联邦机构自行决定中止模型分发。

Anthropic 发言人向 Politico 确认了这份草案，并称它代表了 Anthropic 在 Advanced AI Framework 中提出的建议，自 6 月以来一直在向联邦和州立法者倡导。

这些假设的风险与近期科技行业关注的事件有些距离。行业目前更担心的是 agentic hacking——AI 程序据称违背操作者意图、攻击开放互联网网站的事件接连出现，引发了对模型安全控制的担忧。面对这种危机景象，Anthropic 等公司倾向于提出自己偏好的解决方案：尽管实验室一直警告他们出售的技术可能导致人类文明毁灭，但他们大多抵制强制性的政府监管，转而建议一种自愿的嵌入评估者系统——即放置在 AI 组织内部、据称”中立”的第三方观察者。DeepMind 的 Demis Hassabis 几个月前曾提议，AI 自律监管机构应模仿金融行业的 FINRA。

Anthropic 提出立法建议本身，比业内其他提案走得更远。Nvidia CEO Jensen Huang 最近还主张 AI 行业根本不需要新法律。