Votre agent IA a réussi le test par hasard. Maintenant, il existe une grille d'évaluation pour ça.

Alors que les agents LLM passent de démonstrations jouets à des flux de production réels, l'écart entre ce qu'ils accomplissent et comment ils le font devient un angle mort sérieux. Un nouvel article publié sur arXiv en juillet 2026 présente SkillCoach, un cadre qui examine le processus derrière l'utilisation des compétences agentiques plutôt que seulement la réponse finale. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Quiconque a observé un agent tâtonner à travers un dépôt de compétences documentées connaît le problème. Il pourrait trouver la bonne réponse par essais et erreurs par force brute. Il pourrait saisir une compétence de distraction qui fonctionne par hasard. Il pourrait sauter des étapes intermédiaires requises ou oublier une vérification de validation finale. Les vérificateurs traditionnels, qui ne vérifient que la sortie finale, qualifient toutes ces trajectoires de réussies. Mais ce ne sont clairement pas les comportements fiables et audibles que l'on souhaite dans un système de production. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Quatre dimensions de la qualité du processus

SkillCoach construit des grilles d'évaluation de processus basées sur les compétences à partir de déploiements réels d'agents et mesure chaque trajectoire selon quatre axes :

• Sélection des compétences : L'agent a-t-il choisi la bonne compétence pour l'étape ?
• Suivi des compétences : L'agent a-t-il exécuté la compétence choisie correctement ?
• Composition des compétences : L'agent a-t-il combiné les compétences dans le bon ordre ?
• Réflexion basée sur les compétences : L'agent a-t-il vérifié sa propre sortie par rapport aux résultats attendus de la compétence ?

En gardant le vérificateur externe comme un signal de résultat séparé, SkillCoach peut faire la différence entre une exécution propre et reproductible et un succès accidentel. Les grilles d'évaluation sont auto-évolutives, ce qui signifie qu'elles s'améliorent avec le temps à mesure que davantage de trajectoires sont collectées et s'adaptent au dépôt de compétences et au domaine spécifiques.

Révéler les échecs cachés

Les expériences de l'article montrent que les grilles d'évaluation évoluées améliorent considérablement la qualité de l'évaluation, révélant des échecs que la seule précision finale manquerait. Prenons un agent qui sélectionne une compétence de distraction, qui produit par hasard la bonne réponse via un chemin différent et non intentionné. Un vérificateur final lui donnerait une réussite. SkillCoach le ferait échouer sur la sélection des compétences.

Cette granularité est encore plus importante pour l'entraînement. Le filtrage basé uniquement sur les résultats, qui sélectionne uniquement les trajectoires ayant abouti à un succès, peut accidentellement renforcer des habitudes de processus bâclées. SkillCoach utilise les grilles d'évaluation évoluées comme supervision du processus à la place, sélectionnant des trajectoires d'entraînement de haute qualité qui montrent une utilisation correcte des compétences à chaque étape. Les auteurs rapportent que ce signal est considérablement plus fort pour améliorer l'utilisation des compétences agentiques que le filtrage basé uniquement sur les résultats. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

Implications pour les agents de production

Le timing de cette recherche s'aligne avec une poussée industrielle plus large vers des flux de travail agentiques qui doivent être audibles et fiables. Alors que les entreprises déploient des agents pour gérer des SOP, des règles de domaine, des flux de travail d'outils et des routines de validation, la capacité d'évaluer non seulement le résultat mais aussi la qualité du processus de raisonnement devient essentielle pour la conformité, la sécurité et la confiance. tcs-and-anthropic-partner-to-bring-claude-to-regulated-industries

SkillCoach pointe vers un avenir où les évaluations des agents sont aussi rigoureuses que les revues de code, avec chaque sélection de compétence et chaque étape de composition examinées plutôt que seulement la réponse finale. La recherche est actuellement disponible en preprint sur arXiv, avec le code et les données à suivre via des dépôts liés. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java