L'EMO d'Ai2 fait émerger une IA modulaire à partir des données, sans règles humaines

Ai2 a publié EMO, un nouveau modèle de langage à mélange d'experts (MoE) pré-entraîné de bout en bout de sorte que la structure modulaire émerge directement des données, sans a priori défini par l'homme. Le modèle permet aux utilisateurs d'activer seulement un petit sous-ensemble de ses experts, seulement 12,5 % du total, pour une tâche donnée tout en conservant des performances proches de celles du modèle complet. Cependant, il fonctionne également comme un modèle généraliste performant lorsque tous les experts sont combinés.open-by-design-ai2-brings-fully-open-ai-infrastructure-online-with-nsf-omai

Les grands modèles de langage sont généralement entraînés et déployés comme des systèmes monolithiques : un modèle unique est initialisé, pré-entraîné, affiné et servi comme une entité unifiée. Mais les applications n'ont souvent besoin que d'un sous-ensemble de capacités, génération de code, raisonnement mathématique ou connaissances spécifiques à un domaine. Alors que les modèles de pointe atteignent régulièrement des billions de paramètres, utiliser et adapter le modèle complet devient impraticable pour la plupart des utilisateurs et entraîne des coûts de calcul et de mémoire inutiles.

Les modèles MoE semblent être un moyen naturel de relâcher cette contrainte. Au lieu d'utiliser un seul grand réseau feedforward à chaque couche, les MoE en contiennent plusieurs plus petits, appelés experts, et n'activent qu'un petit sous-ensemble pour chaque jeton d'entrée. En principe, une tâche qui n'a besoin que d'une seule capacité pourrait charger uniquement les experts pertinents.

En pratique, cependant, les MoE existants ont encore besoin du modèle complet pour bien fonctionner. Même au sein d'une seule entrée, différents jetons activent souvent différents experts, de sorte qu'une tâche peut finir par utiliser tous les experts lors de sa génération. Comme le montrent les chercheurs d'Ai2 dans l'article sur EMO, cela se produit en partie parce que les experts dans les MoE standards se spécialisent souvent dans des motifs lexicaux de bas niveau, pensez aux prépositions ou à la ponctuation, plutôt que dans des domaines ou capacités de haut niveau. En conséquence, les petits sous-ensembles d'experts ne sont pas fiables utilisables seuls.what-the-5-day-old-paper-260623050-tells-us-about-the-future-of-ai

Au lieu de cela, Ai2 voulait des modèles MoE dont les experts s'organisent en groupes cohérents pouvant être sélectivement utilisés et composés.

Comment EMO atteint une modularité émergente

Une façon d'encourager cela pendant le pré-entraînement est d'acheminer les jetons vers les experts en fonction de domaines sémantiques prédéfinis, tels que les mathématiques, la biologie ou le code. Des travaux antérieurs comme BTX et le projet FlexOlmo d'Ai2 ont essayé cela. Cependant, les domaines prédéfinis présentent des limitations importantes. Ils nécessitent des étiquettes de domaine sur l'ensemble du corpus de pré-entraînement, ce qui peut être ambigu et coûteux à obtenir, et peuvent injecter trop de biais humain dans la manière dont le modèle est autorisé à s'organiser.

EMO adopte une approche différente. L'idée clé est que les jetons d'un même document proviennent généralement du même domaine. Ai2 utilise donc les limites des documents comme un signal de supervision faible : pendant l'entraînement, tous les jetons d'un document sont restreints à choisir leurs experts actifs à partir d'un pool d'experts partagé.

Dans un MoE avec 10 experts au total et 2 experts actifs par jeton, tous les jetons d'un document sont restreints à s'acheminer dans le même pool de 4 experts. Ce pool est choisi par le routeur lui-même : il fait la moyenne des préférences d'experts du routeur pour tous les jetons du document, puis sélectionne les experts les plus utilisés comme pool partagé du document. Différents documents peuvent utiliser différents pools, permettant à des groupes d'experts récurrents d'émerger directement des données d'entraînement.

Les chercheurs notent plusieurs considérations de mise en œuvre :

• Équilibrage de charge : Dans l'entraînement MoE standard, l'objectif d'équilibrage de charge empêche le modèle de s'effondrer sur seulement un petit nombre d'experts. EMO applique l'équilibrage de charge globalement sur de nombreux documents, rendant les deux objectifs complémentaires : EMO encourage les jetons d'un même document à utiliser un pool d'experts cohérent, tandis que l'équilibrage de charge global encourage différents documents à couvrir collectivement tous les experts.
• Taille du pool de documents : Plutôt que de fixer une taille de pool, Ai2 l'échantillonne aléatoirement pendant l'entraînement. Cela empêche EMO de surajuster à une seule taille de sous-ensemble et lui permet de supporter différentes tailles de sous-ensembles d'experts lors de l'inférence.

Résultats des benchmarks et performances

Sur les benchmarks généralistes, EMO égalise les performances d'un modèle MoE standard, montrant que l'objectif de modularité ne se fait pas au détriment des performances du modèle complet. La question la plus importante, cependant, est de savoir si le modèle peut encore fonctionner lorsque seul un sous-ensemble d'experts est conservé. Dans ce contexte, Ai2 construit des sous-ensembles d'experts spécifiques à la tâche en classant les experts en fonction de leur utilisation de routage sur une petite quantité de données de validation de la tâche, en conservant les experts les plus utilisés et en rejetant les autres.ifbench-the-new-benchmark-testing-ai-instruction-following

Les résultats montrent qu'EMO reste robuste sous une utilisation sélective des experts. Lorsque seulement 25 % des experts sont conservés (sous-ensemble de 32 experts), EMO perd seulement environ 1 % de performance absolue sur tous les benchmarks ; même lorsque seulement 12,5 % des experts sont conservés (sous-ensemble de 16 experts), la baisse globale n'est que d'environ 3 %. Cela tient à la fois avant et après le fine-tuning. En revanche, le MoE standard correspondant se dégrade fortement à mesure que le sous-ensemble d'experts devient plus petit, tombant souvent près ou en dessous de la performance aléatoire dans les plus petits réglages de sous-ensemble d'experts.how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

De plus, Ai2 montre que la sélection des bons experts pour une tâche est étonnamment bon marché : un seul exemple avec des démonstrations few-shot suffit pour identifier un module qui fonctionne au même niveau qu'un module sélectionné en utilisant un ensemble de validation complet. EMO fonctionne également bien avec les approches existantes d'élagage d'experts comme Easy-EP, et les deux se complètent.

En quoi les sous-ensembles d'experts se spécialisent

Pour voir ce qu'EMO a réellement appris, les chercheurs d'Ai2 ont regroupé les activations du routeur des 100 premiers jetons sur 12 000 documents de pré-entraînement. La différence par rapport à un MoE standard est frappante.

Les clusters de jetons d'EMO correspondent à des choses comme Santé, Médical & Bien-être, Reportage d'actualité, Politique et élections américaines, et Film & Musique. Un MoE standard produit des clusters comme Prépositions, Noms propres, Verbes copules, ou Articles définis. Dans EMO, les jetons d'un document donné atterrissent principalement dans le même cluster ; dans un MoE standard, ils finissent dispersés dans de nombreux clusters.

Le contraste est plus facile à voir sur un seul exemple. Prenons un article sur la santé : dans EMO, presque chaque jeton s'acheminerait dans le cluster Santé, Médical & Bien-être. Dans un MoE standard, le cluster principal est Possessifs & Articles définis ; le modèle regrouperait l'article avec tout autre texte qui utilise les mots 'le' ou 'votre', quel que soit le sujet de ce texte.

Parce qu'EMO forme des modules qui correspondent à des domaines sémantiques plutôt qu'à des caractéristiques de surface, les utilisateurs peuvent choisir un petit sous-ensemble d'experts et avoir encore un modèle fonctionnel ; le groupe correspond à une capacité réelle.the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

Publication et travaux futurs

Ai2 publie le modèle complet entraîné avec EMO, une ligne de base MoE standard correspondante entraînée sur les mêmes données, et le code d'entraînement. Les chercheurs espèrent que ces artefacts seront utiles pour d'autres groupes étudiant la modularité émergente dans les MoE.ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Il reste du travail à faire. EMO est une première étape vers la fabrication de grands modèles creux plus modulaires, mais de nombreuses questions demeurent : comment mieux sélectionner et composer les sous-ensembles d'experts, comment mettre à jour les modules sans perturber le modèle complet, et comment utiliser la structure modulaire pour une meilleure interprétabilité et contrôle. Publier ces modèles devrait aider la communauté à étudier ces questions et à construire des modèles de langage modulaires plus faciles à déployer, adapter, inspecter et composer.