用混沌循环强化 Claude Docs:20亿请求仅60个错误

Anthropic 在公开 Claude Docs 前,用一套由 Claude 驱动的“chaos loop”对 staging 环境连续压测了两周。结果:服务上线一周内,用户创建超过 460 万个文档,累计 20 亿次请求中只出现 60 个服务器错误,没有一次回滚;整个文档服务只用了约 50 个内存优化 pod。而在三周前,这套服务还只是跑在单节点上的 POC,只有几千名内部用户使用。

为了拿到真实证据,作者在 9 月 4 日让 Claude 驱动一个镜像生产的 staging 集群:每天制造超过一百万个合成文档,并故意破坏核心组件。循环本身是一个长期运行的 Claude Code 会话:选择场景、运行测试、读取遥测、提出修复、部署到 staging、重跑。协调者把大部分工作分给子代理,最忙时约 11 个子代理并行,峰值 30 个。协调者还通过 Slack MCP 连接内部版本的 Claude Tag(beta),借鉴其他基础设施团队踩过的坑。压测场景包括一天创建 1000 万个新文档、2.2 万个实时连接同时重连、一个热门文档有几百人观看但服务器在加载时被杀、数据库停滞等。

每次迭代中,harness 会选一个功能(比如文档创建)并推到饱和。Claude 通过 Datadog MCP 读取遥测,给出选项菜单和推荐。改动容易撤销的,Claude 直接写代码部署并重跑;难以撤销的,比如数据库 schema、键布局或文档存储方式,则停下来等作者批准。整个过程必须守住两条不变量:文档几乎瞬间打开;服务器确认编辑后,编辑内容必须还在。

这套方法能跑通,关键在于让服务对 Claude 可读(legibility)。作者引用同事 Felix Rieseberg 的想法:把提示的“高度”提高,要求 Claude 达成结果(让服务扛住发布),而不是完成单个任务。为此做了两件事:一是诊断循环——每次迭代 Claude 都读遥测,缺什么就补什么;二是选择可解释的技术栈,让 Claude 测到的任何数字都能追回代码。

内存问题的修复过程很典型:一个大文档在 pod 上占了约 3 GB。Claude 第一次尝试缩小缓存,没用;第二次发现内存其实在某个依赖的缓存里;继续做细粒度剖析后定位到根因——每次按键都会把文档复制到几个不同数据结构里,每复制一次增加几 MB。Claude 把相关结构改成 copy-on-write 后,经过约三天迭代,这个文档的内存上限降到约 180 MB。对发布所需规模的估计,也从 500 多个 pod 降到约 50 个。

技术选型上,服务用 Rust 编写:没有垃圾回收器,文档的所有内存都在自己定义的结构中,出现问题可以直接定位到对应结构。依赖也被压到最少,仅有的必要依赖都做了 vendor,方便自己读代码和测量。作者提到 Anthropic 也有很好的 Go 工具,但并没有做语言对比评测,这只是他们在 Rust 上的体验。

发布周,第一个 100 万文档约 30 小时出现,到 9 月 22 日超过 460 万。9 月生产环境共部署 629 次,从未回滚。之前在 staging 排练的十个故障场景,有七个真实发生,但修复早已通过 runtime flags 就位,多数情况只需要翻一个开关。作者用的内部研究模型大致可比拟 Claude Fable 5.2。他认为这套方法现在才成立,是因为旧模型在长循环里会出现 goal drift——十到二十次迭代后开始忘记优化目标;新模型跨多次 compaction 仍能守住全部不变量。Vercel 也用类似的有监督 agent loop 让 Turborepo 快了 96%。

成本方面,按 Claude Fable 5.2 的 API 列表价(2026 年 11 月),从 8 月底到发布日大约用了 12.5 万美元的推理费用。作者估计,几年前这个规模大概需要一支工程师团队干六个月。钱主要花在读遥测、写方案、生成修复和审代码上;其中一部分是因为发布规模太大,基础设施本身复杂,另一部分是作者在摸索流程时烧掉的 token。他复盘后认为,现在重做可以节省大约一半。

小规模场景也可以尝试。作者按一个常见的小团队栈(几个合理大小的 Kubernetes 节点加一个 Postgres 实例)粗略估算,去掉内部服务集成、客户端和产品工作、多 pod 运行、细粒度限流后,大约剩三分之一的改动相关。按这个比例并去掉试错成本,两周左右的类似冲刺约需 3000 到 10000 美元(未实际运行,只是估算)。操作步骤很直接:给 Claude 遥测访问权(多数观测平台有 MCP server);让 Claude 写负载脚本,向 staging 发十倍真实流量并故意破坏;选 Claude 最容易测量的技术栈;把最关键的技术不变量写成清单交给 Claude;难以撤销的决定让 Claude 停下并给出带明确推荐的选项。

Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests

查看原文