Anthropic 的越狱严重性量表：重塑AI安全监管的提议

为什么越狱严重性量表现在很重要

AI 安全辩论存在一个盲点。开发者可以判断越狱是否成功，但没有标准方式来说明其危险程度。一个泄露系统提示的提示词只是个小麻烦。而一个能可靠生成零日漏洞武器化利用代码的提示词则是完全不同级别的问题。目前，两者都被称为越狱。Anthropic 提出的网络越狱严重性（CJS）量表试图通过从零到四的指数评级来解决这个问题，其中每一步都代表实际风险增加了数倍。

该框架发布之际，正值该公司最强大的模型 Fable 5 因安全边际问题短暂下线后重新上线。Fable 5 现在配备了安全分类器，可将请求分为四类：禁止、高风险双重用途、低风险双重用途和无害。CJS 量表旨在为这些分类器以及试图绕过它们的尝试提供一种共享词汇。

时机是经过深思熟虑的。从欧盟到加拿大，各国政府正在制定 AI 法规。一个用于衡量越狱严重性的私营部门提议可能会在监管机构制定自己的标准之前成为默认标准。Anthropic 正在做保险业对风险评级所做的同样事情：让所有人都使用你的量表，你就设定了对话的基调。

四个轴，一个分数

CJS 量表从四个维度对越狱进行评分。前两个衡量攻击者获得的能力：能力增益（越狱使攻击者超越现有工具的程度）和能力增益广度（同一技术适用于多少种不同的攻击任务）。后两个衡量越狱转化为实际威胁的容易程度：武器化容易程度（手动实时提示或即用型单提示工具）和可发现性（私下报告或公开发布）。

每个轴都有 0 到 4 的量表，但整体评分是对数式的。能力增益得分为零会立即停止评估，将结果评为信息性（CJS-0）。1 到 3.5 分评为低，4 到 6.5 分评为中，7 到 8.5 分评为高，9 到 10 分评为关键。最终评级只能高于初始计算值，不能降低，这基于一些自由裁量因素，例如特定输出的严重性或缺乏近期修复方案。

Anthropic 在附录中提供了具体示例。一个假设的在社交媒体上发布的通用系统提示覆盖字符串获得了满分 10 分：达到领域专家级别的能力增益，适用于所有攻击类别，部署无需技能，且是公开的。相比之下，一个 2021 年左右的越狱方法能在 Log4Shell 漏洞公开披露之前找到它。当新手使用时，它获得了 9 分，但当红队成员已经知道攻击方式时，它只获得 4 分，因为相对于专家基线，能力增益较低。一个用于寻找相同但现在已公开漏洞的当前越狱方法得分为零：基线发生了变化，因此没有提升。

安全边际的权衡

Fable 5 的分类器基于与 CJS 量表相匹配的分层逻辑工作。对于禁止使用的操作，如勒索软件、擦除器、C2 基础设施和恶意软件开发，模型会阻止所有请求，因为防御效用可以忽略不计。高风险双重用途活动，如渗透测试或漏洞利用开发，也会被阻止，即使它们有合法应用。界限由上下文决定：红队成员经授权使用的相同 SQL 注入技术与攻击者的方法看起来一样，因此分类器倾向于阻止。

低风险双重用途类别是安全边际发挥作用的地方。这些活动包括开源情报或漏洞识别，其他模型已经可以完成。它们倾向于防御，但仍可能帮助攻击者。Anthropic 出于谨慎阻止了很大一部分此类提示，即使它们是无害的，因为误报（有害请求漏网）的成本高于误拒（防御者被阻止）的成本。Fable 5 的安全边际比之前的模型更大，这意味着请求必须看起来非常明确安全才能被允许。

这种权衡影响了实际用户。希望用 Claude 扫描代码库寻找 SQL 注入漏洞的安全工程师，如果请求表述含糊，可能会遇到阻止，不是因为行为被禁止，而是因为分类器的边际捕捉到了它。Anthropic 承认这种摩擦，称之为必要的缓冲区，并认为这是值得的代价。

艾伯塔省的实际测试

CJS 量表是一个提议，但分类器系统已经上线。Anthropic 以艾伯塔省为例进行验证。艾伯塔省政府使用搭载 Opus 和 Sonnet 模型的 Claude Code 在 20 小时内扫描了 27 个部委的 4.66 亿行代码。该团队估计，使用传统方法需要 6.5 年。扫描发现了自动化工具遗漏的漏洞，Claude Code 通常还能生成修复程序、测试它们，甚至首先编写缺失的单元测试。

艾伯塔省技术与创新部长 Nate Glubish 将这项工作视为对公民的责任。他在一份声明中说：“阿尔伯塔人信任他们的政府处理他们生活中最敏感的信息，保护这些信息是我们的责任。”该省随后构建了专门的红色和蓝色团队代理，在开发过程中持续运行，每次检查每个应用程序是否符合 95 项安全控制。艾伯塔省还通过其 AI 学院培训政府工作人员和公众，该学院已覆盖超过 10,000 人。

艾伯塔省的案例说明了两个问题。首先，阻止许多双重用途请求的分类器，在提示结构正确时，并不会妨碍大规模的防御工作。其次，禁止使用类别并非理论性的。正在扫描的代码库中包含真实的漏洞，如果被利用，可能会危及税务记录、社会服务数据和野火响应系统。

框架未解决的问题

Anthropic 称 CJS 量表为早期草案，并欢迎反馈。几个开放性问题仍然存在。该框架排除了泄露系统提示的越狱，称其为非风险。但在模型基于专有数据进行微调的世界中，系统提示泄露可能会暴露业务逻辑或防护措施，从而成为攻击面。该量表还将武器化容易程度和能力增益视为独立轴。实际上，它们会叠加：一种既高增益又易于部署的技术，其后果远大于各部分之和，对数式量表可能无法完全捕捉这一点。

另一个紧张点是人工评分员。该框架允许最终 CJS 评级基于自由裁量判断高于初始计算值，但不提供降低机制。这导致了保守评分的激励，可能导致过度分类。如果每个发现最终都被评为高或关键，过度分类可能会削弱量表的可信度。

尽管存在这些未解决的问题，该提议填补了一个真正的空白。如今，让模型编写钓鱼电子邮件的越狱和让模型设计新型勒索软件变种的越狱都只是越狱。一个共享的严重性量表，经过行业和政府的反馈改进，可以将这种二元分类转变为分级风险概况。这可以影响从漏洞赏金支付到监管执法优先级的方方面面。

Anthropic 已开设专用邮箱用于接收反馈：cyber-safeguards@anthropic.com，并通过 HackerOne 计划接收越狱提交。现在的问题是，行业其他公司是否会采用该量表，还是构建自己的量表。