Recherche et développement en IA
Ma Jiaqi a enseigné aux ingénieurs de MiniMax une dure leçon sur les tokens oubliés
L'enquête interne de MiniMax sur l'incapacité de son modèle M2 à produire le nom « Ma Jiaqi » a révélé un décalage structurel entre le vocabulaire de pré-entraînement et la distribution des données de post-entraînement. La cause racine : les vecteurs lm_head des tokens à faible fréquence dérivent pendant le SFT, perdant la capacité de génération tout en conservant la compréhension. Une correction de couverture complète du vocabulaire a résolu le problème et a également atténué le mélange linguistique en japonais.
Ces dernières semaines, les développeurs utilisant la série M2 des grands modèles de langage de MiniMax sont tombés sur un bug curieux et reproductible. Le modèle pouvait répondre à des questions factuelles sur le chanteur chinois Ma Jiaqi, en donnant le nom de son groupe ou son année de début, mais il ne pouvait pas générer la séquence de tokens « 嘉祺 » (Jiaqi) elle-même. L'anomalie a déclenché des discussions sur les plateformes chinoises comme Xiaohongshu et Zhihu, où les développeurs de la communauté ont mené leurs propres analyses rigoureuses, notamment des comparaisons de tokeniseurs et des tests de paramètres d'échantillonnage. when-your-ai-knows-you-better-than-you-know-yourself-the-hidden-cost-of-context-in-17-slide-recaps
Hypothèse initiale : décalage du tokeniseur écarté
Le premier suspect était un désalignement du tokeniseur entre le pré-entraînement et le post-entraînement. En utilisant le tokeniseur de post-entraînement, « 马嘉祺 » s'encode sous forme d'ID de tokens [4143, 190467], où « 嘉祺 » est devenu un seul token (ID 190467). La question évidente : ce token était-il correctement entraîné pendant le pré-entraînement, ou était-ce un nouveau token ajouté seulement plus tard ? minimax-launches-m25-a-coding-and-agentic-ai-model-with-state-of-the-art-performance
Les ingénieurs de MiniMax ont examiné la couche d'incorporation du vocabulaire du modèle pré-entraîné. Ils ont constaté que les voisins les plus proches du token 190467 dans l'espace d'incorporation, notamment « 亚轩 », « 千玺 », « 祺 », « 耀文 » et « 王一博 », étaient tous des tokens plausibles de noms de personnes. L'analyse statistique a confirmé que le token était bien entraîné et sémantiquement cohérent dans le modèle de base, écartant ainsi l'hypothèse du décalage du tokeniseur. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1
Identification de la véritable cause : distribution des données de post-entraînement
La recherche dans l'ensemble de données de post-entraînement des occurrences du token 190467 a donné moins de cinq échantillons contenant « 嘉祺 ». Cette rareté était la preuve irréfutable : le token a été effectivement désappris lors de l'ajustement fin supervisé (SFT) en raison d'une représentation insuffisante.
Mais pourquoi le modèle a-t-il conservé la compréhension tout en perdant la capacité de génération ? La réponse réside dans le comportement asymétrique des deux couches qui interagissent directement avec le mappage au niveau des tokens : la couche d'incorporation d'entrée (vocab embedding) et la couche de projection de sortie (lm_head).
Incorporation du vocabulaire : presque inchangée
La comparaison des incorporations du vocabulaire entre le pré-entraînement et le SFT a montré une différence presque nulle. Les normes des gradients diminuent à travers les couches du Transformer, et pour les tokens extrêmement rares, la couche d'incorporation reçoit des mises à jour de gradient négligeables de la fonction de perte. Seule la décroissance du poids exerce un léger effet de régularisation, laissant l'incorporation d'entrée essentiellement figée.
lm_head : dérive significative
En revanche, le lm_head, la couche linéaire qui projette les états cachés en probabilités de tokens à chaque étape de génération, a montré des changements dramatiques. Le vecteur de poids pour « 嘉祺 » a considérablement dérivé pendant le SFT, mesuré par la distance L2 entre les vecteurs de pré-entraînement et de post-entraînement. Cette dérive a fait chuter la probabilité de génération du token en dessous du seuil d'échantillonnage top-p=0,95 couramment utilisé lors de l'inférence, le rendant effectivement silencieux. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development
Analyse systématique : quels tokens dérivent le plus ?
Pour comprendre s'il s'agissait d'un cas isolé, MiniMax a calculé les différences L2 pour chaque token du vocabulaire tout au long du processus SFT, en les triant par ampleur de changement. Les catégories les plus affectées :
- Tokens spéciaux (attendus)
- Expressions familières japonaises et modèles web (~40 % des tokens les plus déviants)
- Tokens LaTeX et métadonnées web
- Texte SEO et spam chinois
La dominance des tokens japonais était inattendue mais a immédiatement expliqué un bug de longue date dans le modèle M2.5 : un mélange linguistique occasionnel dans des contextes conversationnels en japonais, avec des sorties qui passaient soudainement au russe ou au coréen en milieu de phrase. Cela avait été classé comme un problème distinct de « petit mélange linguistique » sans cause racine connue.
L'analyse a uni les deux problèmes sous un même cadre : une couverture insuffisante des tokens japonais dans les données de post-entraînement a provoqué la dérive de leurs vecteurs lm_head et leur mélange avec les représentations d'autres langues dans l'espace vectoriel. Les tokens chinois à faible fréquence comme « 嘉祺 », qui se trouvaient être spatialement adjacents aux tokens japonais déviants, ont également été poussés hors de la zone de haute probabilité, mécanisme de l'oubli des tokens rares. ifbench-the-new-benchmark-testing-ai-instruction-following
Expérience de réparation : couverture complète du vocabulaire
MiniMax a conçu une intervention minimale : des données de répétition synthétique couvrant chaque token du vocabulaire, ajoutées comme une petite fraction de l'ensemble de données SFT standard. La tâche synthétique était simple : chaque token apparaissait une fois comme cible pour une invite « copie ce texte », garantissant que chaque token recevait au moins une mise à jour de gradient en tant que cible de génération pendant l'entraînement. minimax-m3-a-new-chinese-foundation-model-with-frontier-coding-agentic-capabilities-and-native-multimodality
Résultats
| Test | Groupe expérimental | Référence |
|---|---|---|
| Taux de mélange japonais → russe | 1 % | 47 % |
| Rappel de base « Ma Jiaqi » | Correct | Correct |
| Rappel guidé « Ma Jiaqi » | Correct | Échec : n'a pas produit « Jiaqi » |
| Test de copie « 无痛人流 » | Correct | Sortie « 人流 » (perte de « 无痛 ») |
| Test de copie « 据介绍 » | Correct | Sortie « 介绍 » (perte de « 据 ») |
| Test de copie « 地税 » | Correct | Sortie « 地利 » (dérive sémantique) |
La validation quantitative : le groupe expérimental a maintenu la similarité cosinus du lm_head avec la base de pré-entraînement à une moyenne de 0,9992, avec un minimum de 0,9711 et aucun token en dessous de 0,95. La moyenne de cos_sim de la référence était de 0,9837, avec 9 805 tokens (4,9 %) en dessous de 0,95 et 4 234 (2,1 %) en dessous de 0,90. Les tokens japonais étaient les plus touchés : cos_sim moyen de 0,9502, avec 29,7 % en dessous de 0,95. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach
Implications plus larges
Le décalage structurel entre le vocabulaire de pré-entraînement et la distribution des données de post-entraînement n'est pas propre à MiniMax. À mesure que les modèles grandissent, les tokeniseurs sont entraînés sur des corpus massifs et diversifiés qui incluent inévitablement des tokens rares ou spécifiques à une langue. Les ensembles de données de post-entraînement, en revanche, sont organisés pour le suivi d'instructions et la sécurité, et leur distribution sous-échantillonne naturellement les tokens à faible fréquence.
MiniMax soutient que la qualité des données de post-entraînement devrait être mesurée selon deux dimensions : la diversité sémantique (couverture des tâches et des domaines) et la couverture au niveau des tokens (garantir que chaque token apparaît au moins une fois comme cible de génération). L'ajout de la couverture des tokens comme métrique de surveillance de routine pourrait empêcher des problèmes similaires d'apparaître en production. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use
Avec la sortie d'autres modèles comme Opus 4.7 qui annoncent également des changements de tokeniseur, l'industrie est clairement consciente que la conception des tokeniseurs et l'alignement des données de post-entraînement restent des domaines avec un potentiel d'optimisation significatif.
Conclusion
Le phénomène d'oubli des tokens rares a un mécanisme clair : pendant le SFT, les vecteurs lm_head pour les tokens à faible fréquence dérivent sans être corrigés par les mises à jour de gradient, réduisant leur probabilité de génération en dessous des seuils exploitables. Les incorporations d'entrée restent stables, préservant la compréhension. Une simple stratégie de couverture complète du vocabulaire, ajoutant des données de répétition synthétique, ancre efficacement toutes les représentations des tokens, résolvant à la fois le cas Ma Jiaqi et le bug de mélange linguistique en japonais.