
Claude Code 团队如何思考验证

Claude Code 团队大约 90% 的代码由 Claude 编写和评审。在这个规模下,如何让 Agent 用证据验证自己的工作,成为决定能放权多少的关键。没有验证闭环,你只能同时跑一两个 Claude,因为每件事都要自己检查;有了它,可以并行跑几十甚至几百个。内部测试中,在结构化文件生成任务里,用独立的 grader 按 rubric 检查 Claude 的工作,比标准 prompting loop 的任务成功率最多高 10 个百分点,差距最大的正是最难的题目。
验证闭环的核心是三类测试。第一类 E2E 测试最值得投:它描述真实用户流程,很难被糊弄,要么整个功能能用,要么不能用,还能明确告诉你哪里坏了。单元测试更快更稳,但 Agent 和测试都不理解完整任务,可能单测全过、功能却坏。E2E 测试适合给 Agent 配置 skill,用 CDP、模拟器或 API harness 去启动、驱动和检查真实运行的系统;feature map 可以作为指南和评分 rubric,从用户视角列出路径、快捷键、选择器和预期结果。第二类是属性测试:先写一句你认为不可能失败的约束,再用 fast-check、Hypothesis、proptest 这类库生成成千上万个输入去尝试反驳。典型属性包括往返编码、不变量、幂等性和等价性。它特别适合规格已经和真实生产行为漂移的重写场景。第三类是差分测试:旧系统当 oracle,新旧系统吃同一批输入,比较输出差异。配合随机输入或生产流量采样,并归一化空白等无关因素。
在 Claude Code 团队,验证首先意味着真正把改动跑起来,而不是只看测试。团队会为仓库建一个名叫 verify 的 skill,放在 .claude/skills/ 目录,离相关代码尽可能近。Claude 在提交前会调用它;团队还投入把它做得又快又稳,当作 smoke test harness。如果某项检查失败,Claude 先自己修,三轮后仍失败就停下来交给人。代码负责人写自己的检查,而且检查触发评审时要说清原因,不要让人从 diff 里反推。
团队还靠失败来分配人的注意力。他们维护一份 39 项的可靠性检查清单,每项都有能从 diff 读出的 trigger、对应检查和背后的历史事故;Claude 读 diff 后只查命中项,通常 3 到 10 项。评审不靠叠加评审者,而是靠 REVIEW.md 说清这次改动该关注什么;评审和验证轮次要彼此承接,不复检所有东西,更便宜也更能找出问题。关键约束是改动不能修改评判自己的检查:Code Review 读的是基分支的 REVIEW.md,而不是 PR 里的版本。评审只对 commit 有意义,过期的 commit 上通过评审等于没审。便宜检查最先跑:Claude 开 PR 前先跑测试、构建和 linter,可以用 hook 强制。
提交层面,团队给每个 commit 盖章记录验证方式,包括 none,以便查询未验证的提交。他们还做了 commit gate,可以阻断没有 /code-review 或 /verify 的提交,分 off、observe、enforce 三档。observe 只记录会阻断的对象,方便排除误伤;enforce 真正阻断,但连续被挡两次后允许第三次通过,避免 Claude 卡死。检查本身也需要被检查:团队追踪合并后被 revert、被维护者拒绝、以及干净存活的变化;还会用历史 incidents 建正式 eval,把仓库还原到评审时点,用一句话答案判断是否真正描述 bug,以合并稳定变更做对照,避免过度标记。召回率分 raw、post-verification、final review 三段分别评估,防止系统丢掉已经发现的 bug;发现会标成 Important、Nit 或 Pre-existing。最后把调召回调到再往上就是过拟合 eval 为止。
错过的案例会变成规则。第一条路是从人工评审意见和 PR revert 里提取模式,要求至少在两个 PR 出现、能从 diff 看出来,然后由三个 Agent 尝试反驳,再经人审 PR 通过。第二条路是拿三个 bug finder 重放已知 incident 的 PR,至少两个找到才算可检测;小 diff 上漏掉就值得写进 REVIEW.md。Flaky 测试不能跳过、加 sleep 或重试到过;找不到根因就删掉并写清原因。规则也要修剪,否则测试集和 .md 文件只增不减。把验证层当作独立系统维护,放到被判定改动够不着的地方,用真实 bug 给它们打分,漏了就记下教训,定期删减。做到这些,你的工作就从读每一个 diff,变成定义什么叫完成并审查证据——这才是同时跑很多个 Claude 的前提。


