Ai2 a ouvert tous les tiroirs du cabinet de l'IA, voici ce qu'il y a dedans

L'Allen Institute for AI (Ai2) a dévoilé Olmo 3, une famille de modèles de langage entièrement ouverts. Le message : une transparence complète, des données au déploiement. De nombreuses entreprises ont déjà fait cette promesse, mais peu l'ont tenue. Olmo 3 ouvre tous les tiroirs du cabinet. Les mélanges bruts de pré-entraînement, les affinages intermédiaires, les ensembles d'instructions de post-entraînement, les harnais d'évaluation, et même les outils utilisés pour nettoyer et dédupliquer les données avant le début de l'entraînement. Tout cela est public. microsoft-open-sources-data-formulator-07-for-enterprise-data-analytics

Olmo 3 se décline en six variantes à deux échelles de paramètres, 7B et 32B, chacune en trois versions : base, instruct et think. La variante 32B-Think effectue un raisonnement en chaîne de pensée, révélant les étapes intermédiaires pour des requêtes complexes. La 32B-Instruct est le modèle de chat entièrement ouvert le plus performant d'Ai2 à ce jour, avec la prise en charge de l'utilisation d'outils et des dialogues multi-tours. Les variantes 7B visent l'efficacité : elles fonctionnent sur une large gamme de matériel tout en maintenant des performances compétitives. Des scores de référence figurent sur les fiches modèles, et ils semblent solides pour la programmation, la compréhension de lecture et les mathématiques. Mais la véritable histoire réside dans ce qu'Ai2 appelle le 'flux de modèle'. C'est le cycle de vie complet : curation des données à travers le pré-entraînement, l'entraînement intermédiaire, l'adaptation au long contexte, le réglage d'instructions, l'optimisation des préférences, l'apprentissage par renforcement, et enfin la branche de raisonnement spécialisée 'think'. sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup

Un pipeline de données transparent

Ai2 fournit des liens de téléchargement pour le mélange de données de pré-entraînement, un mélange entièrement ouvert de texte web, de code, de livres et d'articles scientifiques, dédupliqué et filtré par qualité. Les données d'entraînement intermédiaire, utilisées pour affiner le modèle de base avec des mélanges axés sur des domaines spécifiques, sont également disponibles. Les données de post-entraînement couvrent les réponses supervisées d'instructions et les données de comparaison utilisées dans l'optimisation directe des préférences (DPO) et les étapes d'apprentissage par renforcement.

Les outils sont également ouverts. Le cadre d'entraînement, OlmoCore, est disponible pour une configuration rapide. Les outils de prétraitement des données incluent Duplodocus pour une déduplication floue ultra-efficace et Datamap-rs pour un nettoyage à grande échelle. Le pipeline de post-entraînement, Open Instruct, permet aux chercheurs de reproduire ou de modifier le processus de réglage d'instructions. Pour l'évaluation, Ai2 propose OLMES pour des évaluations reproductibles et Decon pour aider à éliminer la contamination des ensembles de test à partir des données d'entraînement. hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights

OlmoTrace, probablement l'élément le plus intéressant, permet aux utilisateurs de retracer les sorties du modèle jusqu'à des points de données d'entraînement spécifiques. Cela pourrait s'avérer crucial pour diagnostiquer les hallucinations ou les biais. Cela importe aussi pour la recherche en gouvernance de l'IA qui nécessite une traçabilité au niveau des exemples.

Pourquoi l'ouverture totale est importante maintenant

Cette publication arrive à un moment où la définition d'"ouvert" en IA est profondément contestée. La série Llama de Meta, largement décrite comme ouverte, est distribuée sous une licence personnalisée qui restreint l'utilisation commerciale pour les applications à grande échelle. Les modèles de Mistral comportent des restrictions similaires. Même les modèles qualifiés d'"open source" par leurs créateurs cachent souvent les données d'entraînement, les journaux d'entraînement et les points de contrôle intermédiaires.

Olmo 3 contourne ces compromis. L'ensemble du flux, chaque point de contrôle, chaque décision concernant le filtrage des données, chaque hyperparamètre, est public. Ce n'est pas une concession. C'est le point central. Ai2 traite la transparence comme une condition préalable à la rigueur scientifique : si un résultat ne peut être reproduit et les données qui le sous-tendent ne peuvent être examinées, le domaine fonctionne sur la confiance plutôt que sur des preuves. the-hidden-bottleneck-in-ai-inference-why-deepseeks-dspark-rewrites-the-rules-of-speculative-decoding

Le journaliste de Forbes Janakiram MSV a décrit Olmo comme 'se distinguant en offrant un accès complet' par rapport aux LLM ouverts actuels. Le PDG de Hugging Face, Clem Delangue, a déclaré qu'Olmo 'assure une transparence complète et établit une base solide pour un travail transformateur'.

Déjà générateur de recherche

La transparence porte déjà ses fruits. Ai2 met en lumière trois projets de recherche s'appuyant sur des points de contrôle antérieurs d'Olmo : la recherche sur le désapprentissage machine utilisant Olmo-7B comme banc d'essai pour supprimer l'influence de données spécifiques sans ré-entraînement ; les applications cliniques de TAL pour analyser des textes médicaux tout en préservant la transparence des données ; et des études fondamentales sur les dynamiques d'apprentissage et les comportements de mise à l'échelle rendues possibles par l'accès aux journaux d'entraînement et aux points de contrôle intermédiaires. anthropic-launches-claude-science-an-ai-workbench-tailored-for-researchers

Simon Mo, co-responsable du projet chez vLLM, a noté que l'architecture d'Olmo repousse 'la frontière de la conception de modèles open source'. Anastasios Angelopoulos, PDG de LMArena, a décrit Olmo comme 'devenant l'instrument par lequel la communauté construit la prochaine couche d'intelligence fondamentale ouverte.'

Ce qui n'est pas encore connu

Ai2 n'a pas publié de scores de référence détaillés comparés aux modèles comparables de Meta, Mistral ou Qwen. Aucune donnée de latence ou de comparaison des coûts d'inférence n'est non plus publiée. La page du flux de modèle ne spécifie pas le matériel utilisé pour l'entraînement, le budget de calcul total ou la consommation d'énergie. Les étapes de raisonnement de la variante Think sont révélées, mais l'entreprise n'a pas décrit la méthodologie de chaîne de pensée en détail. Ces lacunes sont notables pour un projet construit sur la transparence. Mais les données et le code sont publics, ce qui signifie que des audits indépendants peuvent les combler. ifbench-the-new-benchmark-testing-ai-instruction-following

L'entreprise accepte les abonnements pour des mises à jour mensuelles sur les travaux d'Ai2, ce qui suggère qu'Olmo 3 n'est pas une publication ponctuelle mais fait partie d'un effort soutenu pour redéfinir l'ouverture dans l'IA.