Les benchmarks en sandbox cachent comment les agents échouent vraiment, l'Université de Hong Kong vient de résoudre ce problème

L'évaluation comparative des agents IA comporte une tromperie silencieuse. La plupart des évaluations se déroulent dans des environnements en sandbox, des jardins soigneusement taillés où l'agent n'a jamais à installer un paquet, interpréter une capture d'écran floue ou se remettre d'un redémarrage inattendu du serveur. Le résultat est un tableau rose : les agents obtiennent des scores élevés, mais échouent dès qu'ils touchent un système d'exploitation non scripté.

Les chercheurs de l'Université de Hong Kong affirment que ce décalage n'est pas simplement une gêne méthodologique. Il oriente activement mal le développement. Leur nouveau benchmark, UniClawBench, est conçu pour abattre les murs du sandbox et tester les agents là où ils échouent : à l'intérieur de conteneurs Docker réels et en direct, exécutant 400 tâches bilingues couvrant cinq capacités fondamentales. the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

Cinq capacités, pas cinquante scénarios

Les benchmarks existants utilisent généralement des taxonomies basées sur des scénarios : navigation web, planification de calendrier, édition de fichiers. Le problème, selon l'équipe, est que chaque scénario dépend de multiples compétences de modèle qui se chevauchent. Lorsqu'un agent échoue, il n'est pas clair si la cause racine est un raisonnement faible sur un long contexte, une mauvaise compréhension multimodale ou une capacité d'utilisation d'outils insuffisante.

UniClawBench contourne cela en construisant ses 400 tâches autour d'exactement cinq capacités : Utilisation de compétences, Exploration, Raisonnement sur un long contexte, Compréhension multimodale et Coordination multiplateforme. Chaque tâche est conçue pour tester principalement une capacité, avec un mélange minimal de compétences. Cela permet à l'analyse des échecs d'identifier exactement le maillon faible du modèle. jet-longs-bifocal-attention-is-forcing-a-rethink-of-long-context-efficiency-trade-offs viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

Évaluation sur des machines en direct

Là où UniClawBench diffère le plus nettement des travaux antérieurs, c'est dans l'exécution. Au lieu de noter des réponses préenregistrées par rapport à des ensembles de données statiques, le benchmark déploie des agents à l'intérieur de conteneurs Docker en direct. L'agent doit interagir avec le système de fichiers réel, le réseau et les API d'application. Rien n'est simulé. L'achèvement est mesuré via des points de contrôle granulaires, étape par étape, qu'un agent superviseur caché surveille en temps réel.

"C'est la différence entre un test de conduite sur une piste fermée et un test dans les rues d'une ville," note l'article. "L'agent doit gérer des états inattendus, des dépendances manquantes et des réponses système qu'aucune réponse préenregistrée ne peut capturer."

Une boucle fermée avec trois rôles

L'un des problèmes les plus difficiles dans l'évaluation des agents proactifs, ceux qui initient des actions plutôt que de simplement réagir aux requêtes, est de simuler un retour humain sans divulguer la réponse correcte. La solution de HKU est une boucle d'évaluation à trois acteurs : un agent exécuteur, le modèle testé ; un agent utilisateur qui joue le rôle d'une personne demandant des tâches ; et un agent superviseur caché qui vérifie les points de contrôle intermédiaires et fournit un retour progressif.

L'agent utilisateur est délibérément faillible. Il peut poser des questions de clarification, changer d'avis en cours de tâche ou ignorer des résultats incomplets. Cela force l'exécuteur à gérer dynamiquement des interactions multitours. Crucialement, l'agent superviseur ne révèle jamais les points de contrôle futurs. Il confirme ou infirme seulement la progression sur le point de contrôle actuel, empêchant toute fuite de réponse. the-ai-agent-that-remembers-you-why-vitabench-20-reveals-a-chasm-between-good-chatbots-and-good-collaborators

Modèles et frameworks démêlés

Une contribution centrale d'UniClawBench est sa conception factorielle : chaque modèle de pointe est évalué sous plusieurs frameworks d'agents. Le benchmark peut décomposer la performance en un score de capacité brute du modèle et une efficacité d'orchestration du framework. Les premiers résultats, bien que non détaillés dans le préprint, montrent qu'un modèle fort dans un framework faible peut être surpassé par un modèle plus faible dans un framework intelligent. Cette découverte a des implications directes à la fois pour l'entraînement des modèles et la conception de systèmes.

La structure à cinq capacités révèle également des asymétries intra-modèle surprenantes. Un modèle qui excelle dans le raisonnement sur un long contexte peut s'effondrer sur la coordination multiplateforme, même si les deux tâches relèvent du même scénario « agent web » dans les benchmarks conventionnels. Ces asymétries sont exactement le type de signal dont les équipes de développement ont besoin pour cibler leurs efforts d'optimisation. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

Implications pour l'écosystème des agents

Pour les startups développant des produits agentiques, UniClawBench offre un outil de diagnostic plutôt qu'un classement. Il répond non seulement à « quel agent est le meilleur » mais aussi à « quelle capacité est le goulot d'étranglement pour chaque paire modèle-framework ». Pour la communauté de recherche, le benchmark fournit un terrain d'entente pour comparer non seulement les scores finaux mais aussi les schémas d'échec à travers les cinq dimensions.

Le benchmark est publié en open source avec son code, avec des tâches en chinois et en anglais. L'équipe de HKU souligne qu'UniClawBench est conçu pour évoluer. De nouvelles tâches et capacités peuvent être ajoutées sans modifier l'infrastructure d'évaluation, ce qui en fait un benchmark vivant pour un domaine en évolution rapide.