GauntletBench d'Oxford soumet les agents IA à 100 tâches réelles. Ils ont échoué dans 81 % d'entre elles.

Alors que les agents IA trouvent de plus en plus leur place dans des contextes réels, le besoin de tests rigoureux n'a jamais été aussi pressant. Des chercheurs de l'Université d'Oxford ont lancé GauntletBench, un nouveau référentiel conçu pour contourner la fatigue qui s'est installée dans le domaine de l'évaluation des agents. Il se concentre sur trois capacités sous-explorées : la perception temporelle, la compréhension graphique et le raisonnement 3D, à travers cinq applications professionnelles largement ignorées par les suites existantes. ifbench-the-new-benchmark-testing-ai-instruction-following

Le référentiel, publié sur arXiv et hébergé sur HuggingFace, soumet les agents IA à 100 tâches exigeant une forte composante visuelle, organisées en cinq catégories : Éditeur vidéo, Constructeur de workflows, Modeleur 3D, Analyseur de vol et Concepteur de circuits. Chacune simule un environnement web contrôlé où un agent peut cliquer, taper et naviguer. Le pipeline modulaire prend en charge les cadres d'agents open-source et closed-source. gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

Un test de réalité pour les systèmes agentiques

L'agent le plus performant, basé sur un grand modèle de langage de pointe, a obtenu un taux de succès de seulement 19,1 % sur l'ensemble des tâches. Des annotateurs humains non experts ont accompli les mêmes tâches avec une précision supérieure à 80 %, un chiffre que l'article décrit comme « difficile mais réalisable » pour les humains. Cet écart, selon les chercheurs, découle de l'étroitesse d'esprit de la plupart des référentiels existants. De nombreux tests actuels se concentrent sur les applications grand public courantes, les achats, la réservation de voyages ou les tâches textuelles qui jouent sur les points forts des modèles de langage. GauntletBench évite délibérément ces sentiers battus. Ses tâches exigent que les agents travaillent avec des timelines vidéo dynamiques, interprètent des diagrammes 2D, manipulent des objets 3D, analysent des trajectoires de vol et raisonnent sur des schémas de circuits, le tout via une interface visuelle. the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

Trois lacunes critiques en matière de capacités

GauntletBench met en évidence trois domaines spécifiques où les agents échouent à plusieurs reprises :

• Perception temporelle : Les agents trébuchent lorsqu'ils doivent suivre des événements dans le temps, par exemple en ajustant une timeline d'édition vidéo ou en surveillant une séquence d'étapes de workflow. Les échecs suggèrent un manque de raisonnement temporel robuste au-delà de la simple prédiction de séquence.
• Compréhension graphique : Les tâches impliquant la lecture et la manipulation de représentations visuelles 2D, organigrammes, schémas de circuits, grilles de mise en page, se sont révélées délicates. Les agents ont souvent mal interprété les relations spatiales ou n'ont pas réussi à associer les éléments visuels à leurs rôles fonctionnels.
• Raisonnement 3D : Dans l'application de modélisation 3D, les agents ont eu du mal à faire pivoter des objets, à comprendre la profondeur et à exécuter des opérations spatiales précises. Cela reflète des conclusions plus larges selon lesquelles les modèles multimodaux manquent encore d'une compréhension 3D fiable. hugging-face-daily-papers-a-surge-in-multimodal-and-vision-language-research

Ces résultats s'alignent sur les discussions en cours dans le domaine concernant les limites des systèmes d'IA multimodaux actuels. Alors que les grands modèles de langage excellent dans le raisonnement textuel, leur capacité à comprendre et à agir sur les signaux visuels et temporels reste fragile.

Structure et extensibilité

GauntletBench est construit comme un pipeline modulaire avec quatre composants : une couche d'environnement qui s'interface avec les applications web, une couche d'application contrôlée qui simule les cinq outils professionnels, une suite de tâches de 20 tâches par application générées à partir de modèles, et un moteur d'évaluation automatisé qui calcule le succès en utilisant des critères de correspondance exacte et partielle. Cette conception permet aux chercheurs d'ajouter de nouvelles applications ou variantes de tâches sans reconstruire le pipeline.

« Même l'agent le plus avancé n'atteint qu'un taux de réussite de 19,1 % sur notre GauntletBench, ce qui souligne les limites de ces capacités négligées et de la généralisation », écrivent les auteurs dans l'article.

Le choix des applications professionnelles, montage vidéo, automatisation de workflows, modélisation 3D, analyse de vol et conception de circuits, est délibéré. Ces domaines exigent des interactions précises en plusieurs étapes avec des interfaces visuelles complexes, et ils ont été sous-représentés dans les référentiels d'agents précédents, que la communauté de recherche avait jugés saturés. llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

Ce que cela signifie pour la conception des agents

Le large écart entre les performances des agents et celles des humains, plus de 60 points de pourcentage, suggère que les approches actuelles de l'architecture, de la formation ou du prompt des agents ne sont pas à la hauteur pour gérer des tâches visuo-temporelles complexes. L'article appelle à un regain d'attention sur le développement d'agents capables de généraliser à travers des applications et des modalités inconnues. Le référentiel ne prescrit pas de changements architecturaux spécifiques, mais il fournit une analyse détaillée des échecs. Les agents ont mieux réussi les tâches avec un retour visuel clair, un changement de couleur après une action réussie, que les tâches exigeant un raisonnement différé, comme la prédiction du résultat d'une séquence d'édition en plusieurs étapes.

La contribution d'Oxford arrive à un moment où la communauté de recherche en IA examine de plus près la conception des référentiels. Plusieurs articles récents ont signalé la contamination des référentiels, la simplification excessive des tâches et l'homogénéité des tâches comme des obstacles à une évaluation significative des agents. GauntletBench vise directement ces problèmes en introduisant de nouveaux types de tâches et des scénarios de haute difficulté. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Le référentiel a déjà attiré l'attention sur HuggingFace, où l'article du projet a reçu 15 votes positifs et des retours positifs de la communauté. Les chercheurs prévoient d'étendre GauntletBench pour inclure davantage d'applications et des tâches à plus long horizon dans les futures versions.

Pour les développeurs d'agents, le message est clair : les parties faciles du problème sont résolues. Les défis restants, le raisonnement temporel, graphique et spatial, exigent des approches fondamentalement nouvelles si les agents IA doivent fonctionner de manière fiable dans le monde réel.