Olmo-eval d’Ai2 offre aux développeurs de LLM un microscope pour chaque point de contrôle

L’Allen Institute for AI (Ai2) a publié olmo-eval, un banc d’essai d’évaluation ouvert conçu pour le travail quotidien de développement des grands modèles de langage. Le cadre prolonge l’Open Language Model Evaluation Standard (OLMES) introduit en 2024, qui visait à rendre les scores des benchmarks comparables entre les versions de modèles. open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Conçu pour le développement continu de modèles

La plupart des outils d’évaluation existants, selon Ai2, sont conçus soit pour exécuter des benchmarks établis sur des modèles terminés, soit pour tester des agents dans des environnements cloisonnés. Aucun ne correspond à la réalité du développement actif, où les chercheurs effectuent des ajustements fréquents sur les données, l’architecture ou les hyperparamètres et ont besoin de retours rapides sur chaque nouveau point de contrôle. Olmo-eval a été spécifiquement conçu pour cette boucle, permettant aux développeurs d’ajouter des benchmarks, de configurer des politiques d’exécution et de comparer les résultats question par question plutôt que de se fier uniquement aux scores agrégés.

“Le score final d’un modèle n’est qu’une partie du processus d’évaluation”, ont déclaré les chercheurs d’Ai2 dans l’annonce. Olmo-eval s’appuie sur OLMES en réduisant le travail nécessaire pour implémenter de nouvelles évaluations et en offrant plus de flexibilité dans leur exécution.

Architecture modulaire : tâches, harnais et suites

Le cadre comprend quatre composants principaux. Une tâche définit ce qui est évalué : l’ensemble de données du benchmark, la manière dont les demandes d’évaluation sont construites et comment les réponses sont notées. Une suite regroupe des tâches connexes pour une exécution conjointe. Un harnais contrôle la politique d’exécution, incluant le modèle, les outils, l’infrastructure et l’environnement cloisonné. Cette séparation permet à une même tâche de s’exécuter dans différentes conditions sans réécrire le code. cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

Un benchmark de questions-réponses basique, par exemple, peut être défini en quelques lignes de Python en utilisant des chargeurs de données et des formateurs simples. Une variante peut ajuster des paramètres tels que l’incitation à quelques exemples. Une suite regroupe plusieurs benchmarks en une seule commande. Le même benchmark peut s’exécuter avec ou sans accès à des outils, permettant une comparaison directe de la performance d’un modèle avec et sans recherche ou exécution de code.

Exécution cloisonnée pour les évaluations d’agents

Olmo-eval inclut une couche de cloisonnement et de routage des capacités pour les évaluations où les modèles doivent utiliser des outils tels que l’écriture et l’exécution de code, la navigation sur le web ou l’interaction avec des API. Contrairement aux cadres qui forcent chaque évaluation dans un environnement entièrement conteneurisé, olmo-eval choisit la valeur par défaut légère : un benchmark qui ne nécessite qu’un modèle pour répondre à des questions s’exécute directement. Lorsque le benchmark nécessite un environnement verrouillé, par exemple pour exécuter du code généré en toute sécurité, un conteneur isolé est lancé. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Cette conception, selon Ai2, rend l’outil plus rapide et moins coûteux pour les évaluations standard tout en préservant la sécurité et la reproductibilité pour les workflows agentiques plus complexes.

Comparaison avec Harbor

Ai2 oppose explicitement olmo-eval à Harbor, un cadre ouvert pour évaluer les agents IA à l’intérieur de conteneurs scellés. Là où Harbor se concentre sur la publication de benchmarks d’agents avec des étapes de vérification supplémentaires pour le partage public, olmo-eval est orienté vers le développement quotidien de modèles. Le processus de Harbor pour ajouter des benchmarks est conçu pour le partage public ; olmo-eval priorise la vitesse et la flexibilité pendant le développement. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

La modularité d’olmo-eval permet également aux développeurs d’échanger le modèle, les outils, les modèles auxiliaires tels qu’un LLM-juge, et les paramètres d’environnement de manière indépendante. Une définition d’outil écrite avec le décorateur @tool peut être réutilisée dans plusieurs harnais sans duplication.

Comparaison granulaire : scores avec erreur standard

Olmo-eval rapporte les scores globaux avec l’erreur standard et un effet minimal détectable, mais sa caractéristique la plus distinctive est une vue de comparaison par paire par question. Cela aligne les mêmes questions à travers deux points de contrôle du modèle et compare les réponses une par une, en maintenant toutes les autres variables fixes. L’objectif est d’aider les développeurs à voir si un petit changement dans une moyenne globale reflète une réelle amélioration ou simplement du bruit statistique.

“Si votre question récurrente est ‘En quoi ce point de contrôle diffère-t-il du précédent, et où exactement s’est-il amélioré ou régressé ?’, c’est le workflow pour lequel olmo-eval est conçu”, a déclaré Ai2. ifbench-the-new-benchmark-testing-ai-instruction-following

Publication ouverte et intégration avec la gamme de modèles d’Ai2

Olmo-eval s’appuie directement sur OLMES, la norme qu’Ai2 a introduite en 2024 pour rendre les scores des benchmarks comparables entre les versions de modèles. La norme OLMES a été précédemment utilisée pour évaluer les modèles ouverts d’Ai2, d’Olmo à Tulu. Le nouveau banc d’essai étend cette approche à la phase de développement actif. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

Le cadre est disponible en tant que logiciel open source, et Ai2 invite la communauté à contribuer avec des tâches, des suites et des harnais.