Le vrai goulot d’étranglement des agents IA de bureau n’est pas le modèle. C’est la bibliothèque de compétences.

Les agents d’utilisation d’ordinateur, des systèmes d’IA qui exécutent des tâches logicielles en interagissant avec un ordinateur, ont généralement été évalués de manière à confondre la difficulté de la tâche avec la modalité d’interaction utilisée. Un nouvel article de chercheurs présente un benchmark conçu pour démêler ces facteurs. Il compare des agents GUI exclusivement basés sur l’écran et des agents CLI utilisant des compétences médiées par des interfaces programmatiques, sur des objectifs, états initiaux et vérificateurs identiques, à travers 440 tâches de bureau couvrant 18 applications et 12 catégories de workflows. ifbench-the-new-benchmark-testing-ai-instruction-following

Comparaison contrôlée des modalités d’interaction

L’idée centrale de l’étude est que les évaluations existantes mélangent la modalité d’interaction avec les différences de tâches, d’états initiaux, de vérificateurs et d’actions autorisées. Pour y remédier, les chercheurs ont construit un benchmark de couche d’exécution apparié. Les deux types d’agents reçoivent des objectifs, états et vérificateurs d’état final identiques, mais chacun est limité aux actions natives de sa modalité : les agents GUI ne peuvent que voir et cliquer sur l’écran ; les agents CLI ne peuvent utiliser que des interfaces de commandes programmatiques via des compétences prédéfinies. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Le benchmark couvre 440 tâches à travers des applications de bureau courantes dans des catégories telles que la gestion des e-mails, les opérations sur tableurs, l’organisation de fichiers, la navigation web et l’édition de code. Chaque tâche est conçue pour être également réalisable via les deux modalités d’interaction, étant donné une capacité suffisante.

Résultats : les GUI surpassent les CLI de base

L’agent GUI le plus performant testé a atteint un taux de réussite complet de 59,1 %, battant l’agent CLI avec compétences originales le plus performant à 48,2 %. Cet écart de 10,9 points de pourcentage pourrait suggérer que l’interaction GUI est intrinsèquement plus adaptée aux tâches de bureau. Mais les chercheurs ont approfondi pour comprendre pourquoi les agents CLI échouaient.

« Les agents CLI que nous avons testés étaient limités par leurs bibliothèques de compétences, l’ensemble des commandes programmatiques qu’ils pouvaient utiliser pour interagir avec les logiciels », note l’article. « Lorsque nous avons augmenté ces compétences à l’aide du vérificateur qui contrôle l’état final, le succès des CLI a grimpé à 69,3 %, surpassant nettement les agents GUI. » Cette découverte indique qu’une grande partie du déficit des CLI provient d’une couverture incomplète des compétences, et non de la capacité de raisonnement sous-jacente du modèle. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

Des goulots d’étranglement différents selon les modalités

L’étude révèle des goulots d’étranglement d’exécution distincts pour chaque modalité. Les agents GUI sont limités par une interaction fiable et ancrée sur de longs horizons de travail. Ils peinent sur les tâches nécessitant de nombreuses étapes séquentielles, où de petites erreurs de perception s’accumulent. Les agents CLI, bien que plus fiables par action, sont limités par la couverture et l’évolutivité de leurs interfaces de compétences. Sans une couverture de compétences adéquate, ils ne peuvent tout simplement pas tenter certaines actions. ai-document-corruption-in-delegated-workflows-what-a-new-stress-test-reveals

« Les agents GUI doivent apprendre à cliquer sur le bon pixel, à faire défiler la bonne quantité et à lire le texte à l’écran avec précision sur des dizaines d’étapes », écrivent les chercheurs. « Les agents CLI peuvent exécuter des commandes avec précision, mais seulement s’ils disposent d’une compétence pour cette action particulière. Le goulot d’étranglement passe de l’ancrage perceptuel à la complétude des compétences. »

Implications pour la conception d’agents IA

Ces résultats ont des implications pratiques pour les développeurs créant des agents d’utilisation d’ordinateur. L’augmentation des compétences, générant ou récupérant automatiquement des compétences en fonction des besoins de la tâche, émerge comme une technique puissante pour améliorer les performances des agents CLI. L’approche d’augmentation guidée par vérificateur utilisée dans l’étude démontre que même une expansion modeste des compétences peut générer des gains significatifs. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Pour les agents GUI, la voie de l’amélioration réside dans un meilleur ancrage visuel, une compréhension vidéo sur un contexte plus long, et des stratégies de récupération d’erreurs plus robustes. Des approches hybrides combinant la perception GUI avec l’exécution CLI lorsque cela est disponible pourraient potentiellement offrir le meilleur des deux mondes.

Perspectives

Le benchmark lui-même, comprenant 440 tâches avec des interfaces GUI et CLI appariées, des états initiaux et des vérificateurs, a été publié publiquement pour faciliter la recherche future. L’article suggère que les travaux futurs devraient explorer la récupération adaptative de compétences, la fusion multimodale des informations d’écran avec l’exécution de commandes, et les tâches nécessitant une collaboration en temps réel entre agents opérant dans différentes modalités. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

Alors que les agents d’utilisation d’ordinateur passent des laboratoires de recherche aux systèmes de production, comprendre les compromis entre les modalités d’interaction devient crucial. Cette étude fournit un cadre contrôlé et fondé sur des preuves pour prendre ces décisions de conception.