IFBench : le nouveau benchmark testant le respect des instructions par l'IA

Le travail d'un modèle d'IA ne se limite pas à produire une réponse plausible, il doit suivre les instructions avec précision. Cela semble simple, mais c'est étonnamment difficile. Prenons l'exemple d'un utilisateur qui souhaite un résumé de trois phrases, une reformulation dans un ton décontracté, ou une réponse qui inclut un mot tout en en évitant un autre, souvent tout à la fois. Un modèle peut parfaitement comprendre le sujet et pourtant échouer dans la demande.

Accepté à NeurIPS 2025, IFBench teste la capacité des modèles de langage à suivre ce type d'instructions précises en langage naturel. L'année dernière, Artificial Analysis, une organisation indépendante de benchmarking IA, a ajouté IFBench à son Intelligence Index, qui combine plusieurs évaluations en un seul score pour mesurer la capacité globale d'un modèle.

« Nous avons constaté que la capacité d'un modèle à suivre les instructions des utilisateurs était quelque chose que les développeurs appréciaient beaucoup, nous avons donc voulu l'évaluer explicitement », déclare Declan Jackson, membre du personnel technique chez Artificial Analysis. « IFBench a été conçu pour combler cette lacune et s'est avéré difficile même pour les modèles de pointe. »

Mesurer l'adhésion à une consigne

IFBench ne teste pas simplement le respect d'instructions de base, il oblige un modèle à jongler avec plusieurs règles à la fois. Certaines sont simples, comme un nombre minimum de mots ou des mots-clés obligatoires. D'autres sont plus délicates : les phrases doivent avoir la même longueur, les mots consécutifs ne peuvent pas commencer par la même lettre, ou un mot-clé doit se trouver à un endroit précis.

« C'est différent de nombreux autres benchmarks, où le respect des instructions n'est capturé qu'indirectement via des modèles de sortie ou des structures de réponse demandées », explique Jackson.

Chaque contrainte peut sembler arbitraire en soi. Mais ensemble, elles reflètent un scénario trop familier : les utilisateurs demandent souvent plusieurs choses à la fois à un modèle, et en omettre une seule peut ruiner la réponse. Pour ancrer IFBench dans une utilisation réelle, ses consignes sont tirées de conversations réelles d'utilisateurs, et non rédigées à partir de zéro par des chercheurs.

« IFBench mesure le respect des instructions d'une manière qui semble plus proche de l'utilisation réelle que les évaluations de respect d'instructions précédentes », explique Jackson. « Les consignes utilisent un langage informel, ressemblant à celui des utilisateurs, couvrent une large gamme de tons et de longueurs sans suivre un modèle fixe, et se concentrent sur des tâches courantes telles que la réponse à des questions factuelles, la révision et le résumé de contenu, et le soutien créatif. La couverture plus large d'IFBench en fait également ... un signal global plus fort de la capacité à suivre les instructions. »

Ce qu'IFBench montre que les autres benchmarks négligent

Les benchmarks IA ont généralement une durée de vie courte. Une fois que les modèles commencent à obtenir des scores proches du maximum, les évaluations cessent d'être utiles pour différencier les systèmes. La plupart des évaluations ajoutées à l'Intelligence Index d'Artificial Analysis saturent en environ six mois, explique Jackson.

Mais ce n'est pas le cas d'IFBench.

« Bien que les scores IFBench se soient améliorés au fil du temps, ces progrès n'ont pas été uniformes entre les modèles, et les nouveaux modèles de pointe ne réussissent pas toujours bien », explique Jackson.

Cela s'explique par deux facteurs.

Le premier : le respect d'instructions complexes ne recoupe pas beaucoup ce pour quoi la plupart des laboratoires s'entraînent activement, explique Jackson. Le codage et l'utilisation d'outils bénéficient d'investissements importants en post-entraînement car les gains dans ces domaines ont tendance à se généraliser à d'autres tâches et benchmarks. Le respect des instructions est plus étroit et s'améliore rarement comme effet secondaire des progrès dans ces domaines.

Le second est la simple étendue de ce qu'IFBench mesure. Son large éventail de contraintes et de consignes signifie que les progrès ont été plus lents par rapport aux évaluations de domaines ou de capacités plus ciblées, que les laboratoires peuvent aborder avec des recettes de post-entraînement ciblées.

Cela se voit dans les chiffres. Les scores IFBench se regroupent fortement par famille de modèles, explique Jackson, et les classements ne correspondent pas à l'Intelligence Index plus large d'Artificial Analysis.

xAI mène toujours IFBench. Grok 4.20 (0309, Reasoning) prend la première place avec 82,9 %, suivi de près par Grok 4.3 avec 81,3 %. Les récents modèles Google obtiennent également de bons résultats : Gemini 3 Flash Preview (Reasoning) atteint 78,0 %, tandis que Gemini 3.1 Flash-Lite Preview et Gemini 3.1 Pro Preview obtiennent respectivement 77,2 % et 77,1 %. GPT-5.5 (xhigh) et GPT-5.4 (xhigh) d'OpenAI suivent avec 75,9 % et 73,9 %. Les principaux modèles Claude se regroupent plus bas sur IFBench, avec Claude Opus 4.7, Claude Sonnet 4.6 et Claude 4.5 Haiku obtenant des scores compris entre 54,3 % et 58,6 %, même si Claude Opus 4.7 se classe près du sommet de l'Intelligence Index avec 57 points, derrière GPT-5.5 (xhigh) à 60 et à égalité avec Gemini 3.1 Pro Preview et GPT-5.4 (xhigh), qui obtiennent également 57.

Une approche vraiment ouverte des évaluations

IFBench est utile à Artificial Analysis pour deux raisons : ce qu'il mesure, et le fait qu'il soit publié ouvertement.

L'ouverture permet à l'équipe de Jackson d'implémenter l'évaluation fidèlement et de l'exécuter sur un large éventail de modèles, alimentant les classements sur lesquels leurs utilisateurs comptent. Cela rend également le benchmark lui-même plus facile à comprendre, puisque tout le monde peut voir ce qui est mesuré et pourquoi.

Pour Artificial Analysis, IFBench teste quelque chose qui se produit dans presque chaque interaction avec l'IA : si un modèle peut garder la trace de ce que l'utilisateur demande, surtout lorsque la demande est complexe. Il fait désormais partie intégrante des évaluations d'Artificial Analysis, et un excellent exemple de ce que les benchmarks ouverts d'Ai2 apportent au domaine.

« Au-delà des évaluations, Ai2 est un leader important dans l'open source », déclare Jackson. « Leur travail contribue non seulement à faire progresser l'industrie grâce à la recherche ouverte, mais donne également aux utilisateurs accès à des artefacts de recherche avec une transparence sur les données et la méthodologie. »