Analyse au niveau des tokens : les LLM hybrides excellent sur les mots porteurs de sens, peinent sur les répétitions

Un modèle de langage hybride peut égaler ou surpasser un transformeur standard sur des benchmarks agrégés, mais que cache ce chiffre en titre ? Une équipe de l'Allen Institute for AI a entrepris de répondre à cette question en comparant deux modèles de 7 milliards de paramètres étroitement appariés, Olmo 3, un pur transformeur, et Olmo Hybrid, qui remplace la plupart des couches d'attention par des couches récurrentes, au niveau du token.

Attention vs Récurrence : Forces complémentaires

Dans un transformeur, chaque couche utilise l'attention, permettant à chaque token de puiser directement dans tous les tokens précédents. Cela rend l'attention excellente pour rappeler des tokens spécifiques provenant de loin, mais son coût computationnel évolue de manière quadratique avec la longueur d'entrée. Un modèle hybride conserve quelques couches d'attention mais remplace le reste par des couches récurrentes qui portent une mémoire compressée de taille fixe, traitant chaque token à un coût constant quelle que soit la longueur d'entrée. Cette mémoire compressée est avec perte, donc les couches récurrentes ne peuvent pas revenir en arrière pour des copies exactes, mais elles excellent à suivre des informations qui évoluent séquentiellement.

Méthodologie : L'écart de perte

Pour isoler où chaque architecture gagne, les chercheurs ont alimenté les deux modèles avec les mêmes passages de texte, articles, entrées Wikipedia, livres, articles scientifiques, Python, HTML et LaTeX, et ont enregistré la probabilité que chacun attribuait au token suivant réel. Ils ont calculé l'écart de perte (la différence de perte) token par token : un écart positif signifie que l'hybride a mieux prédit, un écart négatif signifie que le transformeur l'a fait.

« Nous avons ensuite trié chaque token dans une catégorie et moyenné l'écart de perte au sein de ces catégories, puis revérifié chaque motif avec une régression qui estime l'effet propre de la catégorie tout en maintenant les autres facteurs constants », a expliqué l'équipe.

Résultats clés : Mots de contenu vs Mots fonctionnels

En prose, la division la plus nette se situe entre les mots de contenu, les noms, verbes et adjectifs porteurs de sens, et les mots fonctionnels comme « le », « de » et « est ». L'hybride prédit les mots de contenu significativement mieux que le transformeur, avec un écart de perte autour de 0,03, tandis que l'écart se réduit à presque zéro sur les mots fonctionnels. L'avantage est particulièrement prononcé sur les adverbes et les adjectifs.

« L'avantage de l'hybride est le plus grand sur les mots qui disent de quoi parle une phrase et le plus petit sur les mots grammaticaux que tout modèle peut presque deviner à partir de la syntaxe », ont noté les chercheurs.

Là où l'avantage de l'hybride disparaît

L'avance de l'hybride disparaît presque sur les tokens qui répètent simplement quelque chose déjà présent dans l'entrée. L'équipe a identifié ces cas en recherchant des n-grammes répétés, des séquences de texte où le token complétant une séquence est apparu textuellement plus tôt. Plus la séquence répétée est longue, plus l'avance de l'hybride diminue, jusqu'à approcher zéro.

Un autre cas clair est celui des accolades fermantes. L'équipe a constaté que les accolades fermantes, mais pas les ouvrantes, ne montrent aucun avantage hybride pour les parenthèses dans le langage, le code et le balisage, un motif cohérent avec le fait que l'attention est suffisante pour l'appariement des parenthèses.

Pertes filtrées par tokens comme outil d'évaluation

S'appuyant sur ces résultats, l'équipe a exploré l'utilisation de pertes filtrées sur des types de tokens spécifiques comme méthode d'évaluation. Ils ont comparé trois modèles de 1 milliard de paramètres : un transformeur, un hybride et un modèle purement récurrent sans aucune attention.

Sur les tokens porteurs de sens qui ne sont pas des répétitions, l'hybride et le modèle purement récurrent dépassent tous deux le transformeur, l'hybride obtenant les meilleures performances. Sur les tokens répétés, le modèle purement récurrent, sans attention pour revenir en arrière et copier, tombe derrière l'hybride et le transformeur.

« Ainsi, ces pertes filtrées par tokens révèlent différentes différences fines entre les architectures, y compris les capacités de copie et les différences sur les mots de contenu, tôt dans l'entraînement d'une manière qui ne serait pas autrement visible », ont écrit les chercheurs.

Implications pour la conception d'architecture

Ce travail comporte deux leçons principales. Premièrement, une seule perte globale, l'erreur moyenne du modèle sur tous les tokens, est trop grossière pour comparer les architectures transformeur et hybride. Noter la perte sur seulement les tokens qui testent une capacité spécifique fait apparaître des différences clés.

Deuxièmement, l'avantage particulier de l'hybride sur les tokens de classe ouverte pourrait être lié aux capacités de suivi d'état des couches récurrentes. « Nous pensons que les meilleures architectures hybrides viendront de la compréhension, token par token, de ce que chaque composant d'un modèle fait bien », a conclu l'équipe.

Les chercheurs ont publié le rapport complet, Olmo 3, Olmo Hybrid, et leurs artefacts ouverts associés pour que la communauté puisse les explorer.