L'échelle de sévérité des jailbreaks d'Anthropic, une proposition qui pourrait remodeler la régulation de la sécurité de l'IA

Pourquoi une échelle de sévérité des jailbreaks est importante maintenant

Le débat sur la sécurité de l'IA a un angle mort. Les développeurs peuvent dire quand un jailbreak fonctionne, mais ils n'ont pas de moyen standard pour dire à quel point il est dangereux. Une invite qui divulgue une invite système n'est qu'une nuisance. Une invite qui génère de manière fiable un code d'exploit armé pour une faille zero-day est une classe de problème différente. Actuellement, les deux sont appelés jailbreaks. L'échelle Cyber Jailbreak Severity (CJS) proposée par Anthropic tente de résoudre ce problème avec une notation exponentielle de zéro à quatre, où chaque étape signifie plusieurs fois plus de risque dans le monde réel.

Le cadre arrive alors que Fable 5, le modèle le plus performant de l'entreprise, revient en ligne après qu'un problème de marge de sécurité l'ait brièvement mis hors service. Fable 5 est désormais livré avec des classifieurs de sécurité qui séparent les requêtes en quatre catégories : interdites, à double usage à haut risque, à double usage à faible risque, et bénignes. L'échelle CJS est conçue pour donner à ces classifieurs et aux tentatives de les contourner un vocabulaire partagé.

Le timing est délibéré. Des gouvernements, de l'UE au Canada, écrivent des règles sur l'IA. Une proposition du secteur privé pour mesurer la sévérité des jailbreaks pourrait devenir la norme avant que les régulateurs n'inventent la leur. Anthropic fait ce que l'industrie de l'assurance a fait avec les notations de risque : faire en sorte que tout le monde utilise votre échelle et vous fixez les termes de la conversation.

Quatre axes, un score

L'échelle CJS évalue un jailbreak sur quatre dimensions. Les deux premières mesurent ce qu'un attaquant obtient : le gain de capacité (dans quelle mesure le jailbreak renforce l'attaquant par rapport aux outils existants) et l'étendue du gain de capacité (sur combien de tâches offensives différentes la même technique fonctionne). Les deux secondes mesurent la facilité avec laquelle le jailbreak se transforme en une menace réelle : la facilité d'armement (incitation en direct manuelle ou harnais d'invitation unique clé en main) et la découvrabilité (signalée de manière privée ou publiée publiquement).

Chaque axe a une rubrique de 0 à 4, mais l'échelle globale est logarithmique. Un score de zéro sur le gain de capacité arrête immédiatement le processus, classant la découverte comme informationnelle (CJS-0). Les scores de 1 à 3,5 obtiennent une note faible, de 4 à 6,5 moyenne, de 7 à 8,5 élevée, et de 9 à 10 critique. La note finale ne peut que monter par rapport au calcul initial, jamais descendre, en fonction de facteurs discrétionnaires comme la sévérité des sorties spécifiques ou l'absence de correctif à court terme.

Anthropic inclut des exemples travaillés en annexe. Une chaîne hypothétique universelle de remplacement d'invite système publiée sur les réseaux sociaux obtient un score parfait de 10 : gain de capacité de niveau expert, fonctionne dans toutes les catégories offensives, aucune compétence nécessaire pour déployer, et publique. Comparez cela à un jailbreak de l'ère 2021 qui pouvait trouver la vulnérabilité Log4Shell avant la divulgation publique. Cela obtient un score de 9 lorsque un novice l'utilise, mais un 4 lorsqu'un red teamer connaît déjà la forme de l'attaque, car le gain de capacité par rapport à la ligne de base de l'expert est plus faible. Un jailbreak actuel qui trouve la même vulnérabilité, désormais publique, obtient un score de zéro : la ligne de base a changé, donc il n'y a pas de gain.

Le compromis sur la marge de sécurité

Les classifieurs de Fable 5 fonctionnent sur une logique à plusieurs niveaux qui reflète l'échelle CJS. Pour les actions d'utilisation interdite comme les ransomwares, les wipers, l'infrastructure C2 et le développement de malwares, le modèle bloque chaque requête car l'utilité défensive est négligeable. Les activités à double usage à haut risque comme les tests de pénétration ou le développement d'exploits sont également bloquées, même si elles ont des applications légitimes. La ligne est tracée par le contexte : la même technique d'injection SQL qu'un red teamer utilise avec autorisation ressemble à la méthode d'un attaquant, donc le classifieur opte pour le blocage.

La catégorie à double usage à faible risque est celle où la marge de sécurité compte. Ce sont des activités comme le renseignement en source ouverte ou l'identification de vulnérabilités que d'autres modèles peuvent déjà faire. Elles tendent vers la défense mais pourraient encore aider un attaquant. Anthropic bloque une grande fraction de ces requêtes par prudence, même lorsqu'elles sont bénignes, car le coût des faux négatifs (une requête nuisible passant) est plus élevé que le coût des faux positifs (un défenseur étant bloqué). La marge de sécurité pour Fable 5 est plus grande que pour les modèles précédents, ce qui signifie qu'une requête doit sembler très clairement sûre pour être autorisée.

Ce compromis affecte les utilisateurs pratiques. Un ingénieur en sécurité qui souhaite que Claude scanne une base de code pour une injection SQL peut rencontrer un blocage si la requête est formulée de manière ambiguë, non pas parce que le comportement est interdit, mais parce que la marge du classifieur l'attrape. Anthropic reconnaît cette friction, l'appelle un tampon nécessaire et soutient qu'il en vaut le coût.

Le test grandeur nature de l'Alberta

L'échelle CJS est une proposition, mais le système de classifieur est en direct. Anthropic pointe l'Alberta comme validation. Le gouvernement de l'Alberta a utilisé Claude Code avec les modèles Opus et Sonnet pour scanner 466 millions de lignes de code dans 27 ministères en 20 heures. L'équipe estime que cela aurait pris 6,5 ans avec des méthodes traditionnelles. Le scan a trouvé des vulnérabilités que les outils automatisés avaient manquées, et Claude Code a souvent généré des correctifs, les a testés et a même d'abord écrit les tests unitaires manquants.

Nate Glubish, ministre de la Technologie et de l'Innovation de l'Alberta, a présenté le travail comme une responsabilité envers les citoyens. «Les Albertains confient à leur gouvernement certaines des informations les plus sensibles de leur vie, et il est de notre responsabilité de les protéger», a-t-il déclaré dans un communiqué. La province a depuis construit des agents spécialisés de red team et de blue team qui fonctionnent en continu pendant le développement, vérifiant chaque application par rapport à 95 contrôles de sécurité par passage. L'Alberta forme également des travailleurs gouvernementaux et le public via son AI Academy, qui a touché plus de 10 000 personnes.

Le cas de l'Alberta démontre deux points. Premièrement, les classifieurs qui bloquent de nombreuses requêtes à double usage n'empêchent pas le travail défensif à grande échelle lorsque les invites sont structurées correctement. Deuxièmement, la catégorie d'utilisation interdite n'est pas théorique. Les bases de code scannées contiennent de véritables vulnérabilités qui, si elles étaient exploitées, pourraient compromettre les dossiers fiscaux, les données des services sociaux et les systèmes de réponse aux incendies de forêt.

Ce que le cadre laisse en suspens

Anthropic qualifie l'échelle CJS d'ébauche précoce et invite les commentaires. Plusieurs questions ouvertes subsistent. Le cadre exclut les jailbreaks qui révèlent des invites système, les qualifiant de non-risques. Mais dans un monde où les modèles sont affinés sur des données propriétaires, une fuite d'invite système pourrait exposer la logique métier ou les garde-fous qui deviennent des surfaces d'attaque. L'échelle traite également la facilité d'armement et le gain de capacité comme des axes indépendants. En pratique, ils se combinent : une technique à la fois très performante et facile à déployer est bien pire que la somme de ses parties, et l'échelle logarithmique peut ne pas capturer cela complètement.

Une autre tension est le scoreur humain. Le cadre permet à la note CJS finale d'être augmentée au-dessus du calcul initial en fonction d'un jugement discrétionnaire, mais ne prévoit aucun mécanisme pour la baisser. Cela crée une incitation à une notation conservatrice, ce qui peut conduire à une surclassification. La surclassification risque de diluer la crédibilité de l'échelle si chaque découverte finit par être classée élevée ou critique.

Malgré ces bords ouverts, la proposition comble un véritable vide. Aujourd'hui, un jailbreak qui permet à un modèle d'écrire un e-mail de phishing et un jailbreak qui lui permet de concevoir une nouvelle variante de ransomware sont tous deux des jailbreaks. Une échelle de sévérité partagée, affinée par les retours de l'industrie et des gouvernements, pourrait transformer cette classification binaire en un profil de risque gradué. Cela pourrait informer tout, des primes de bug bounty aux priorités de mise en œuvre réglementaire.

Anthropic a ouvert une adresse e-mail dédiée pour les commentaires à cyber-safeguards@anthropic.com et gère un programme HackerOne pour les soumissions de jailbreak. La question est maintenant de savoir si le reste de l'industrie adoptera l'échelle ou en construira une de sa propre initiative.