视频亮点
Mozilla 的安全修复从每月 20 个飙到 400 个，三分之二归功于前沿模型。
写好 threat model 就能把真阳性率从 50% 拉到 90%。
组织瓶颈比技术瓶颈更难：路由、严重性评估、带宽。
LLM 安全实战：从发现漏洞到闭环补丁
⭐⭐⭐⭐ 4.2
Eugene Yan（Anthropic） 分享了一个现实：LLM 在安全漏洞发现上已经远超人类，但瓶颈却转移到了验证、分类和打补丁。他以 Mozilla 一个月从 20 个 fix 跳到 400 个（20x） 的实际案例开场，说明模型能批量找到漏洞，但团队消化不了。他自己团队扫了上千个开源仓库，发现 6200 个高危问题，最终只上报 1600 个，约 100 个被合并。
Yan 的核心观点是：写下 threat model 就能把真阳性率拉到 90%，因为模型缺的是系统级上下文。他把整个流程拆成两步设置（threat model + sandbox）和四步循环（发现、独立验证、分类、修复），看起来就像 ML pipeline。他特别强调验证 agent 必须独立且 adversarial，不能看到发现过程，否则容易过拟合。分类环节是稀缺资源——工程师的注意力，所以必须自动排序，只让真人处理最严重的问题。最后 patching 要闭环，确保同一个漏洞不会重复出现。
Yan 的判断是：扫描从来不是瓶颈，组织瓶颈才是——如何把漏洞路由到对的人、评估严重性、分配带宽。他建议从本周就开始对开源依赖做扫描，先手动跑通流程再逐步自动化。这个演讲很务实，没有画大饼，适合想真正落地 LLM 安全工具的人参考。
Eugene Yan（Anthropic） 分享了一个现实：LLM 在安全漏洞发现上已经远超人类，但瓶颈却转移到了验证、分类和打补丁。他以 Mozilla 一个月从 20 个 fix 跳到 400 个（20x） 的实际案例开场，说明模型能批量找到漏洞，但团队消化不了。他自己团队扫了上千个开源仓库，发现 6200 个高危问题，最终只上报 1600 个，约 100 个被合并。
Yan 的核心观点是：写下 threat model 就能把真阳性率拉到 90%，因为模型缺的是系统级上下文。他把整个流程拆成两步设置（threat model + sandbox）和四步循环（发现、独立验证、分类、修复），看起来就像 ML pipeline。他特别强调验证 agent 必须独立且 adversarial，不能看到发现过程，否则容易过拟合。分类环节是稀缺资源——工程师的注意力，所以必须自动排序，只让真人处理最严重的问题。最后 patching 要闭环，确保同一个漏洞不会重复出现。
Yan 的判断是：扫描从来不是瓶颈，组织瓶颈才是——如何把漏洞路由到对的人、评估严重性、分配带宽。他建议从本周就开始对开源依赖做扫描，先手动跑通流程再逐步自动化。这个演讲很务实，没有画大饼，适合想真正落地 LLM 安全工具的人参考。
