安全扩展多智能体团队:Claude Fable 5.2 实验

Anthropic 在九月发布过费马大定理的首次端到端形式化,由几十个 agent 在一个大致相当于 Claude Fable 5.1 的内部研究模型上完成,依赖 Prove2Me 平台和一名研究员的指导。新的 toy experiment 里,1,000 个 agent 运行早期版 Claude Fable 5.2,在没有 Prove2Me 脚手架、也没有研究员指路的情况下复现了证明。团队花了 28.7 小时,输出 token 只有原来的三分之一,证明长度只有原来的七分之一。

任务设定是这样的:每个 agent 在无网络沙箱里运行。一个分类器在每条 shell 命令和文件编辑执行前做检查,一个离线监控负责审查团队的每个动作。研究者给 agent 的输入是 60 条待证陈述、古典路线的一句话描述、陈述用到的定义,以及此前形式化中已经证明的 47 条引理。只分配了 lead 和 helper 两种角色,其余怎么拆题、怎么协作,全留给 agent 自己。

背景是费马大定理本身。它表示 aⁿ + bⁿ = cⁿ 在 n>2 时没有正整数解,350 多年未被证明,直到 1995 年 Wiles 给出 129 页证明。而形式化证明要让每一步都被机器检查。九月的形式化花了 11 天、约 60 亿输出 token,写下 1300 万行 Lean 代码。那次的协调靠 Prove2Me:一张共享图把每个待证语句和它拆分出的子语句连起来,任何 agent 都能拆分,其他 agent 从图中认领未证明的碎片,避免丢失项目状态。

这次不用 Prove2Me,团队必须自己组织。每个 agent 有独立的轻量虚拟机,自己有 Git 分支,能向 main 开 merge request,并通过 shell 访问一个共享 Postgres 数据库。选 SQL 是因为它提供通用的信息组织原语,事务能应对 1000 个 agent 的并发写入,而且 Claude 本来就会用。之前用单台共享机器时,跑到约 100 个 agent 就到极限,超过一半的运行因为内存、磁盘或 CPU 耗尽而中断。

Prompt 只给了 60 条陈述和工具说明,外加一层极简层级:1 个 lead、999 个 helper。lead 负责拆解和派活,helper 等 lead 分配,任务不清就问 lead。运行期间 harness 给 lead 发了 19 次剩余时间提醒,仅此而已。前 10 分钟,lead 就在数据库里建了五张表:Announce 用来发布命令,Assign 记录谁做什么,Notes 是公告板,Subtasks 是待办池,Landed 登记完成的工作。

lead 先把 60 条陈述分给 16-17 人一组的 crew,每组指定一个 captain。约 27 分钟时已有 3 条被证明。大多数 helper 判断 47 条陈述在预算内不可行,lead 把几乎所有人都调到剩下的 10 条上。约 45 分钟时 10 条里已证明约 5 条,lead 写道“团队吞吐量远高于早期对‘预算内不可行’的判断”。10 条在约 70 分钟内全部证完。之后 lead 把 helper 重新派向此前被搁置的更难陈述,并在第三小时告诉空闲的 helper“不要等我”。

约 18 小时后只剩 Langlands–Tunnell。这个 captain 曾悲观估计它需要 70 万到 100 万行 Lean 代码,按时完成的概率不足 1%。lead 一度把它搁置,后来把约 750 个 helper 调过去,并写道“老实说,概率很低”。Langlands–Tunnell 比其它陈述大得多,任务量约是其它陈述的九倍,新增代码两倍多。helper 发现单个任务太大,就把任务拆成树:最终长到 2,418 个任务、最深 10 层。每条任务可以假设其下层任务的结果,所以几百个 helper 能并行。Langlands–Tunnell 在 28.4 小时被证明,最终定理在 28.7 小时完成。lead 最后写道:“感谢大家:费马大定理已在 main 分支,通过官方检查器的内核检查。”

安全机制是这次实验的前提。沙箱没有网络,agent 之间没有专用消息工具,只能通过数据库和 Git 沟通。数据库调用使用共享非特权角色,每条 SQL 限时五秒,超过 256 MiB 的写入被拒绝。网关在沙箱外标记 agent 身份,防止伪装。内核去掉了可加载模块、kexec、原始内存访问和内核探针,并开启 lockdown。agent 以非特权用户运行,sudo 等提权工具被移除。实时监控用 LLM 分类器检查每次工具调用,一旦阻断就整个团队停止,必须人工复核。红队评估测试了分解攻击等策略,能检测到所有破坏尝试,所以后来加了并行的 CoT 监控。这次运行只用 action-based 监控,超过一百万次工具调用里没有一次达到阻断标准;用 CoT 监控和今天的规则回放后,也只有一次检查 root 访问的调用接近被阻断。

作者在结尾明确说,这个结果不等于领域专用平台不再必要。Prove2Me 仍可能通过更快的 Lean 编译和复用人类结果来提升效率。人类方向也有价值:agent 倾向于低估难度、过早放弃,早期 helper 判了 47/60 不可行,但大部分最终被证明。没有精心设计的安全边界,这种自由探索的实验不可能进行。多智能体团队规模扩大后,安全边界必须同步进化。

Safely scaling multi-agent teams with Claude Fable 5.2

查看原文