Anthropic详解Fable 5网络安全过滤与越狱分级框架

Claude Fable 5重新上线后,Anthropic面临一个棘手问题:网络安全能力天生是双刃剑,能用来防御也能用来攻击。过去一刀切的安全策略要么过于保守导致模型不好用,要么过于宽松带来风险。这篇文章的核心价值在于,它没有纠结于“该不该封杀网络安全用例”,而是给出了一套非常具体的细粒度分类框架,把安全相关的请求精确划分成了四个可操作的类别:禁止使用、高风险双用途、低风险双用途和良性使用。每个类别都附带了清晰的示例列表,比如“提权”属于高风险双用途会被暂时封禁,但“安全编码”属于良性行为则直接放行。这种做法直接解决了AI安全治理中“无法准确判断用户是白帽子还是黑帽子”的痛点。

更硬核的部分是它提出了一套叫CJS的越狱严重性分级框架。这个框架不再笼统地说“这个越狱很危险”,而是从四个维度量化评分:能力增益(越狱能让攻击者比现有工具强多少)、广度(能解锁多少种攻击任务)、武器化难度(需要多少技术门槛才能用)和可发现性(攻击者获取这个越狱有多容易)。每个维度都有详细的0-4分评分标准,最终汇总成CJS-0到CJS-4的严重等级。比如一个公开的万能系统提示覆盖,能禁用所有安全行为,就评到了最高的CJS-4级。而一个只是让模型输出课堂里都能找到的SQL注入字符串的例子,因为能力增益为零,直接判为CJS-0。这种量化的方式,让AI开发者和政府监管部门终于能用同一套语言沟通越狱的实际风险到底有多大。

作为业内人士,我认为这个框架最聪明的设计是引入了“参考基线”的概念。评估越狱的严重性不是看模型本身多强,而是看它比现有工具和模型能强出多少。同样一个模型能发现Log4Shell漏洞,在2021年12月刚被公开前,它提供了巨大的能力增益,可能要被评到CJS-4。但放到今天,任何扫描器都能找到这个漏洞,那能力增益就是零,评分直接归零。这个思路非常务实——它承认安全是动态博弈,拒绝用静态的“能力恐慌”来判断风险。未来AI安全的核心可能不再是拼命堆叠安全过滤器,而是建立这样一套可衡量、可辩论、可迭代的量化框架。Anthropic主动把这份草案公开出来接受反馈,本身就是推动行业标准化的正确姿势。

More details on Fable 5’s cyber safeguards and our jailbreak framework

查看原文