Ma Jiaqi enseñó a los ingenieros de MiniMax una dura lección sobre tokens olvidados

En las últimas semanas, los desarrolladores que utilizan los modelos de lenguaje grandes de la serie M2 de MiniMax se encontraron con un error curioso y reproducible. El modelo podía responder preguntas fácticas sobre el cantante chino Ma Jiaqi, nombrando a su grupo o año de debut, pero no podía generar la secuencia de tokens "嘉祺" (Jiaqi) en sí misma. La anomalía provocó discusiones en plataformas chinas como Xiaohongshu y Zhihu, donde los desarrolladores de la comunidad realizaron sus propios análisis rigurosos, incluyendo comparaciones de tokenizadores y pruebas de parámetros de muestreo. when-your-ai-knows-you-better-than-you-know-yourself-the-hidden-cost-of-context-in-17-slide-recaps

Hipótesis inicial: desajuste del tokenizador descartado

El primer sospechoso fue un desajuste del tokenizador entre el preentrenamiento y el postentrenamiento. Usando el tokenizador de postentrenamiento, "马嘉祺" se codifica como IDs de token [4143, 190467], donde "嘉祺" se convirtió en un solo token (ID 190467). La pregunta obvia: ¿fue este token entrenado adecuadamente durante el preentrenamiento, o fue un token nuevo agregado solo más tarde? minimax-launches-m25-a-coding-and-agentic-ai-model-with-state-of-the-art-performance

Los ingenieros de MiniMax examinaron la capa de incrustación de vocabulario del modelo de preentrenamiento. Encontraron que los vecinos más cercanos del token 190467 en el espacio de incrustación, incluyendo "亚轩", "千玺", "祺", "耀文" y "王一博", eran todos tokens de nombres de personas plausibles. El análisis estadístico confirmó que el token estaba bien entrenado y era semánticamente coherente en el modelo base, descartando la hipótesis de desajuste del tokenizador. aleph-alpha-unveils-t-free-a-tokenizer-free-architecture-for-sovereign-ai-1

Identificando la verdadera causa: distribución de datos de postentrenamiento

Al buscar en el conjunto de datos de postentrenamiento ocurrencias del token 190467, se encontraron menos de cinco muestras que contenían "嘉祺". Esa escasez fue la prueba irrefutable: el token fue efectivamente desaprendido durante el ajuste fino supervisado (SFT) debido a una representación insuficiente.

Pero, ¿por qué el modelo retuvo la comprensión mientras perdía la capacidad de generación? La respuesta radica en el comportamiento asimétrico de las dos capas que interactúan directamente con el mapeo a nivel de token: la capa de incrustación de entrada (vocab embedding) y la capa de proyección de salida (lm_head).

Incrustación de vocabulario: casi sin cambios

Comparar las incrustaciones de vocabulario de preentrenamiento y SFT mostró una diferencia casi nula. Las normas de gradiente se descomponen a través de las capas del Transformer, y para tokens extremadamente raros, la capa de incrustación recibe actualizaciones de gradiente insignificantes de la función de pérdida. Solo la disminución de peso ejerce un efecto regularizador leve, dejando la incrustación de entrada esencialmente congelada.

lm_head: desviación significativa

En contraste, el lm_head, la capa lineal que proyecta estados ocultos a probabilidades de token en cada paso de generación, mostró cambios dramáticos. El vector de peso para "嘉祺" se desplazó sustancialmente durante el SFT, medido por la distancia L2 entre los vectores de preentrenamiento y postentrenamiento. Esta desviación hizo que la probabilidad de generación del token cayera por debajo del umbral de muestreo top-p=0.95 comúnmente utilizado durante la inferencia, silenciándolo efectivamente. ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

Análisis sistemático: ¿qué tokens se desvían más?

Para entender si este era un caso aislado, MiniMax calculó las diferencias L2 para cada token en el vocabulario a lo largo de todo el proceso de SFT, ordenándolos por magnitud de cambio. Las categorías más afectadas:

1. Tokens especiales (esperado)
2. Coloquialismos japoneses y plantillas web (~40% de los tokens con mayor desviación)
3. Tokens de LaTeX y metadatos web
4. Texto SEO chino y spam

El dominio de los tokens japoneses fue inesperado, pero explicó de inmediato un error de larga data en el modelo M2.5: la mezcla ocasional de idiomas en contextos conversacionales japoneses, salidas que de repente cambiaban a ruso o coreano a mitad de la oración. Esto se había clasificado como un problema separado de "mezcla de idiomas pequeños" sin una causa raíz conocida.

El análisis unificó ambos problemas bajo un mismo marco: la cobertura insuficiente de tokens japoneses en los datos de postentrenamiento provocó que sus vectores lm_head se desviaran y se mezclaran con las representaciones de tokens de otros idiomas en el espacio vectorial. Los tokens chinos de baja frecuencia como "嘉祺" que resultaron estar espacialmente adyacentes a tokens japoneses desviados también fueron empujados fuera de la zona de alta probabilidad, el mecanismo de olvido de tokens dispersos. ifbench-the-new-benchmark-testing-ai-instruction-following

Experimento de reparación: cobertura completa del vocabulario

MiniMax diseñó una intervención mínima: datos de repetición sintéticos que cubren cada token en el vocabulario, añadidos como una pequeña fracción del conjunto de datos SFT estándar. La tarea sintética era simple: cada token aparecía una vez como objetivo para un mensaje de "copia este texto", asegurando que cada token recibiera al menos una actualización de gradiente como objetivo de generación durante el entrenamiento. minimax-m3-a-new-chinese-foundation-model-with-frontier-coding-agentic-capabilities-and-native-multimodality

Resultados

La validación cuantitativa: el grupo experimental mantuvo la similitud coseno de lm_head con la base de preentrenamiento en una media de 0.9992, con un mínimo de 0.9711 y cero tokens por debajo de 0.95. La media de cos_sim de la línea base fue de 0.9837, con 9,805 tokens (4.9%) por debajo de 0.95 y 4,234 (2.1%) por debajo de 0.90. Los tokens japoneses fueron los más afectados: media de cos_sim de 0.9502, con un 29.7% por debajo de 0.95. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Implicaciones más amplias

El desajuste estructural entre el vocabulario de preentrenamiento y la distribución de datos de postentrenamiento no es exclusivo de MiniMax. A medida que los modelos crecen, los tokenizadores se entrenan con corpus masivos y diversos que inevitablemente incluyen tokens raros o específicos de un idioma. Los conjuntos de datos de postentrenamiento, por el contrario, se seleccionan para el seguimiento de instrucciones y la seguridad, y su distribución naturalmente submuestrea los tokens de baja frecuencia.

MiniMax argumenta que la calidad de los datos de postentrenamiento debe medirse en dos dimensiones: diversidad semántica (cobertura de tareas y dominios) y cobertura a nivel de token (asegurando que cada token aparezca como objetivo de generación al menos una vez). Agregar la cobertura de tokens como una métrica de monitoreo rutinaria podría prevenir problemas similares en producción. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

Con el lanzamiento de otros modelos como Opus 4.7 que también anuncian cambios en el tokenizador, la industria es claramente consciente de que el diseño del tokenizador y la alineación de datos de postentrenamiento siguen siendo áreas con un potencial de optimización significativo.

Conclusión

El fenómeno de olvido de tokens dispersos tiene un mecanismo claro: durante el SFT, los vectores lm_head de tokens de baja frecuencia se desvían sin ser corregidos por las actualizaciones de gradiente, reduciendo su probabilidad de generación por debajo de los umbrales utilizables. Las incrustaciones de entrada permanecen estables, preservando la comprensión. Una estrategia simple de cobertura completa del vocabulario, añadiendo datos de repetición sintéticos, ancla efectivamente todas las representaciones de tokens, resolviendo tanto el caso de Ma Jiaqi como el error de mezcla de idiomas en japonés.