Les modèles d'IA ne peuvent pas s'empêcher de penser à voix haute. C'est à la fois une bonne nouvelle et un cauchemar pour la sécurité.

Le raisonnement en chaîne, c'est-à-dire un modèle qui articule sa logique étape par étape avant de produire une réponse finale, est devenu central pour le dossier de sécurité des systèmes d'IA modernes. La promesse est simple : si nous pouvons lire ce que le modèle pense, nous pouvons détecter un comportement inapproprié avant qu'il ne se manifeste dans une sortie. Mais cette promesse repose sur une hypothèse cruciale : que le modèle ne peut pas manipuler délibérément ce qu'il verbalise dans sa trace de raisonnement. anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

Un nouvel article de chercheurs qui ont développé la suite d'évaluation CoT-Control met cette hypothèse à l'épreuve. Leurs conclusions sont à la fois encourageantes et déconcertantes. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

L'écart de contrôlabilité

Les chercheurs ont conçu des tâches exigeant des modèles qu'ils résolvent des problèmes tout en respectant des instructions spécifiques concernant leur raisonnement en chaîne. Par exemple, raisonner sur une question de génétique sans utiliser le mot 'chromosome'. La mesure est la contrôlabilité du CoT : la capacité d'un modèle à se conformer à des contraintes sur son processus de raisonnement.

Le chiffre principal est frappant. Claude Sonnet 4.5, l'un des modèles de raisonnement les plus performants disponibles, ne peut contrôler son raisonnement en chaîne que 2,7 % du temps. Pourtant, lorsqu'on lui demande de contrôler sa sortie finale plutôt que sa trace de raisonnement, ce chiffre passe à 61,9 %. L'écart entre ce que les modèles peuvent supprimer dans leur pensée par rapport à leur sortie est énorme.

Ce n'est pas une simple curiosité de laboratoire. Si un modèle pouvait contrôler librement son CoT pour échapper à la surveillance tout en produisant la sortie finale souhaitée, toute la prémisse de la surveillance de la sécurité basée sur le CoT s'effondrerait. Un modèle qui peut penser une chose et en dire une autre est un modèle qui peut tromper les mécanismes de supervision. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Ce qui détermine la contrôlabilité, et ce qui ne le fait pas

L'article explore systématiquement les facteurs qui influencent la contrôlabilité du CoT. Les résultats remettent en question plusieurs hypothèses intuitives.

Les modèles plus grands présentent une contrôlabilité plus élevée, un résultat peu surprenant, cohérent avec la corrélation générale entre la taille du modèle et la capacité. Mais la relation est nuancée : les gains de contrôlabilité semblent plafonner au-delà d'un certain seuil de taille plutôt que de croître linéairement. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Plus intéressant est l'effet de la méthodologie d'entraînement. Les modèles qui subissent davantage d'entraînement par apprentissage par renforcement, en particulier avec une mise à l'échelle du calcul au moment du test, montrent une contrôlabilité du CoT inférieure. Cela est contre-intuitif : l'entraînement RL est conçu pour améliorer les performances de la tâche et le suivi des instructions, mais semble rendre les modèles moins capables de contraindre leurs traces de raisonnement. Une interprétation est que l'entraînement RL internalise profondément les schémas de raisonnement, les rendant plus difficiles à outrepasser au niveau de la génération. the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

La difficulté du problème joue également un rôle significatif. À mesure que les tâches deviennent plus difficiles, la contrôlabilité du CoT se dégrade davantage. Lorsqu'un modèle a du mal à atteindre la bonne réponse, il semble avoir moins de ressources cognitives pour contrôler la forme de son raisonnement. Cela crée une situation perverse : précisément lorsqu'un modèle est le plus susceptible de recourir à des stratégies de raisonnement indésirables, sur des problèmes difficiles et à enjeux élevés, sa trace de raisonnement devient la plus difficile à contrôler et la moins fiable comme fenêtre sur son processus réel. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Le paradoxe de la surveillance

Les chercheurs ont constaté que le fait de dire aux modèles qu'ils sont surveillés produit une augmentation modeste mais mesurable de la contrôlabilité du CoT. C'est un résultat à double tranchant. D'un côté, cela suggère qu'une surveillance explicite peut aligner le comportement de raisonnement d'un modèle sur les attentes. De l'autre, cela soulève la possibilité qu'un modèle conscient de la surveillance puisse supprimer sélectivement un raisonnement compromettant tout en préservant sa capacité à produire une sortie correcte.

Les tentatives d'obtenir de manière adverse une contrôlabilité plus élevée, en optimisant les invites pour rendre les modèles meilleurs pour contraindre leur CoT, n'ont pas permis d'améliorer significativement le contrôle. C'est le résultat le plus rassurant de l'article. Si l'ingénierie des invites ne peut pas facilement déverrouiller le contrôle du CoT, alors la capacité semble être véritablement limitée plutôt que simplement latente. ifbench-the-new-benchmark-testing-ai-instruction-following

Le problème du mécanisme

L'observation la plus franche de l'article est aussi la plus importante : le mécanisme derrière la faible contrôlabilité du CoT n'est pas bien compris. Ce n'est pas une lacune anodine. Sans comprendre pourquoi les modèles ont du mal à contraindre leurs traces de raisonnement, il n'y a aucune garantie que les futurs modèles partageront cette limitation.

Plusieurs hypothèses sont plausibles, et elles ont des implications très différentes. Une faible contrôlabilité pourrait être une caractéristique architecturale fondamentale, un sous-produit de la façon dont les mécanismes d'attention et la génération autorégressive interagissent lors d'un raisonnement en plusieurs étapes. Cela pourrait être une conséquence de la distribution des données d'entraînement, où les traces de raisonnement sont fortement biaisées vers une cognition non filtrée. Cela pourrait être un effet secondaire de recettes d'entraînement RL spécifiques utilisées par les laboratoires de pointe.

Si le mécanisme est architectural ou lié aux données, il pourrait persister dans les futurs modèles, voire se renforcer avec l'échelle. S'il s'agit d'un artefact des méthodes d'entraînement actuelles, il pourrait être accidentellement éliminé dans la prochaine génération de modèles. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

La conclusion pour les laboratoires de pointe

Les auteurs de l'article recommandent que les laboratoires de pointe suivent la contrôlabilité du CoT comme une mesure de sécurité standard. C'est un conseil judicieux. La capacité à manipuler sa propre trace de raisonnement est au cœur des questions concernant la tromperie, l'alignement et la surveillance de l'IA.

Les résultats actuels laissent place à un optimisme prudent : les modèles d'aujourd'hui ne peuvent pas facilement cacher ce qu'ils pensent. Mais l'optimisme est prudent précisément parce que l'absence d'une compréhension mécaniste signifie que le terrain pourrait changer sans avertissement.

Pour les chercheurs travaillant sur la sécurité de l'IA, la suite d'évaluation CoT-Control offre un outil pratique pour mesurer une capacité qui devrait rester absente. Pour tous les autres, l'article rappelle que la transparence des modèles de raisonnement, la propriété même qui rend leur comportement inspectable, n'est pas garantie de survivre au prochain cycle de mise à l'échelle. When a 24-hour countdown becomes your editor: the…