CWE-bench 是 Collinear AI 推出的基准测试，用于考察前沿模型在真实代码库中定位并修复安全弱点的能力。v2 版本公开了 100 个任务，任何人可以直接在自己的模型上运行评测。任务设置与之前一致：智能体拿到一个真实开源仓库的 checkout 和一段简短指令，目标是修复漏洞且不破坏已有功能。评分完全由程序完成，结果确定，复现无需额外成本。所有程序化检查都经过 LLM judge panel 的筛选，使其更硬、更公平。另有一个 held-out 集，用于追踪模型从未见过的任务上的进展，评测需联系 [email protected]。

作者的目标是穷尽攻击面。100 个任务覆盖 91 个不同的 CWE，涉及广泛的漏洞类别。模型只认得熟悉模式远远不够，必须理解多种可被利用的弱点面。质量方面，每个任务都逐项核查：指令读起来是否像真实指令而非评测设置；所有被评分的表现能否从指令推出；验证器是否检查正确行为而非特定修复结构；起始代码是否确实失败、参考修复是否通过；原有功能是否仍能工作；以及验证器能否识破背下已知上游补丁的记忆化答案。每个任务还经过人工审查。开源本身就是质量改进的一部分，作者欢迎对任何任务提出反馈或贡献。

结果在 Hugging Face Hub 上追踪。数据集页的 leaderboard 覆盖开放权重模型，社区通过 PR 提交结果；API-only 模型（如 Gemini、Claude、GPT）汇总在单独的 leaderboard Space。在已评测的 11 个模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 和 78.0% pass@4 紧随其后。95 个任务至少被一个模型解决，说明任务确实可解；但即便如此，领先者仍有 19% 的任务从未成功，长尾远未解决。

成本对比同样透明。DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿：DeepSeek 以 每 rollout 0.04 美元 达到 57.0% pass@1，Opus 花 1.83 美元把 pass@1 提升约 10 个百分点，Gemini 花 3.92 美元再略微领先。

运行门槛很低。每个任务都是自包含的 Harbor 任务——Docker 化环境、指令、确定性验证器，数据集附带 registry.json。用 harbor run 命令可直接从 Hugging Face 仓库跑整个基准，无需手动 clone。数据集是 gated 的，需要先接受访问条件，并把 HF token 保存到 git 凭据。任务还带有 rl-environment 标签，意味着同样的环境与验证器不仅能用于评测，还能作为训练防御智能体的奖励信号。