Le premier agent web open-source qui n'a pas besoin de HTML bat GPT-4o

Une équipe de chercheurs a publié MolmoWeb, une famille d'agents web multimodaux entièrement ouverts. Les agents atteignent des résultats de pointe sur des benchmarks basés sur navigateur, surpassant des modèles propriétaires comme GPT-4o. Ils ne nécessitent pas d'accès au HTML, aux arbres d'accessibilité ou aux API spécialisées. ai2-opens-the-hood-on-olmo-3-every-checkpoint-every-data-point-every-decision

Les agents sont disponibles en tailles de 4 milliards et 8 milliards de paramètres. Ils ont été entraînés sur un ensemble de données appelé MolmoWebMix qui combine plus de 100 000 trajectoires de tâches synthétiques provenant de multiples pipelines de génération avec plus de 30 000 démonstrations humaines, des trajectoires de compétences web atomiques et des données de perception GUI, y compris la localisation d'expressions référentes et des réponses à des questions sur des captures d'écran.

Performance de pointe

Sur des benchmarks d'utilisation de navigateur tels que WebVoyager, Online-Mind2Web et DeepShop, les agents MolmoWeb atteignent des résultats de pointe, surpassant des modèles ouverts de taille similaire comme Fara-7B, UI-Tars-1.5-7B et Holo1-7B. Notamment, MolmoWeb-8B dépasse également les agents set-of-marks construits sur des modèles frontaliers fermés beaucoup plus grands comme GPT-4o. domyn-and-aisquared-build-on-ai2s-open-releases-for-regulated-industries

Les chercheurs ont démontré des gains constants grâce à la mise à l'échelle au moment du test via des déploiements parallèles avec sélection best-of-N. Sur WebVoyager et Online-Mind2Web, ils ont atteint 94,7 % et 60,5 % pass@4, contre 78,2 % et 35,3 % pass@1.

Fonctionnement sans HTML

Contrairement à de nombreux agents web existants qui reposent sur l'analyse du HTML ou des arbres d'accessibilité, les agents MolmoWeb fonctionnent uniquement à partir de captures d'écran. Étant donné une instruction de tâche et une capture d'écran de page web, ils prédisent la prochaine action du navigateur. Cela en fait des politiques d'action véritablement basées sur la vision. La conception élimine le besoin d'API spécialisées et améliore la robustesse dans différents environnements web.

Données ouvertes et reproductibilité

L'équipe derrière MolmoWeb, qui s'appuie sur le précédent modèle vision-langage Molmo, s'est engagée à publier les points de contrôle du modèle, les données d'entraînement, le code et un banc d'essai unifié. Cela contraste avec les systèmes propriétaires dont les données d'entraînement et les recettes restent non divulguées, limitant la compréhension scientifique et le progrès piloté par la communauté. nvidias-nemotron-data-atlas-reveals-why-synthetic-data-is-the-real-agent-bottleneck

Nous croyons que les agents pour le web ouvert doivent être construits en toute transparence,

écrivent les chercheurs dans leur article. La publication vise à accélérer la recherche ouverte sur les agents web et à permettre la reproductibilité.

Réaction de la communauté

L'article a attiré l'attention immédiate de la communauté de recherche en IA. Le Bibliothécaire Bot sur Hugging Face a identifié plusieurs articles connexes, notamment OpAgent: Operator Agent for Web Navigation et WebFactory: Automated Compression of Foundational Language Intelligence into Grounded Web Agents, tous deux de 2026, suggérant une dynamique croissante dans le domaine des agents web ouverts. why-you-should-drop-everything-and-install-openmanus-right-now

Les observateurs de l'industrie ont noté que la capacité à égaler ou dépasser les performances des modèles propriétaires à une fraction du coût de calcul et avec une transparence totale pourrait faire pression sur les grands laboratoires pour qu'ils reconsidèrent leurs approches fermées.

MolmoWeb-8B est désormais disponible en téléchargement et pour expérimentation. L'ensemble complet des données et le code source sont attendus dans les semaines à venir.