Un análisis a nivel de token revela que los LLM híbridos destacan en palabras con significado, pero quedan rezagados en repeticiones

Un modelo de lenguaje híbrido puede igualar o superar a un transformer estándar en benchmarks agregados, pero ¿qué esconde ese número titular? Un equipo del Allen Institute for AI se propuso responder esa pregunta comparando dos modelos de 7B parámetros muy similares, Olmo 3, un transformer puro, y Olmo Hybrid, que reemplaza la mayoría de las capas de atención con capas recurrentes, a nivel de token.

Atención vs. Recurrencia: Fortalezas Complementarias

En un transformer, cada capa utiliza atención, permitiendo que cada token se base directamente en todos los tokens anteriores. Esto hace que la atención sea excelente para recordar tokens específicos de lejos, pero su costo computacional escala cuadráticamente con la longitud de entrada. Un modelo híbrido mantiene algunas capas de atención pero reemplaza el resto con capas recurrentes que portan una memoria comprimida de tamaño fijo, procesando cada token a un costo constante independientemente de la longitud de entrada. Esa memoria comprimida es con pérdida, por lo que las capas recurrentes no pueden retroceder para obtener copias exactas, pero destacan en el seguimiento de información que evoluciona secuencialmente.

Metodología: La Brecha de Pérdida

Para aislar dónde gana cada arquitectura, los investigadores alimentaron a ambos modelos con los mismos pasajes de texto, artículos, entradas de Wikipedia, libros, artículos científicos, Python, HTML y LaTeX, y registraron la probabilidad que cada uno asignaba al siguiente token real. Calcularon la brecha de pérdida (la diferencia en pérdida) token por token: una brecha positiva significa que el híbrido predijo mejor, una brecha negativa significa que el transformer lo hizo.

"Luego clasificamos cada token en una categoría y promediamos la brecha de pérdida dentro de estas categorías, luego verificamos cada patrón con una regresión que estima el efecto propio de la categoría mientras mantiene constantes otros factores", explicó el equipo.

Hallazgos Clave: Palabras de Contenido vs. Palabras Funcionales

En prosa, la división más clara está entre palabras de contenido, sustantivos, verbos y adjetivos con significado, y palabras funcionales como "el", "de" y "es". El híbrido predice palabras de contenido significativamente mejor que el transformer, con una brecha de pérdida alrededor de 0.03, mientras que la brecha se reduce a casi cero en palabras funcionales. La ventaja es especialmente pronunciada en adverbios y adjetivos.

"La ventaja del híbrido es mayor en las palabras que dicen de qué trata una oración y más pequeña en las palabras gramaticales que cualquier modelo puede adivinar casi por sintaxis", señalaron los investigadores.

Donde la Ventaja del Híbrido Desaparece

La ventaja del híbrido prácticamente se desvanece en tokens que simplemente repiten algo ya presente en la entrada. El equipo identificó estos casos buscando n-gramas repetidos, tramos de texto donde el token que completa una secuencia ha aparecido textualmente antes. Cuanto más largo es el tramo repetido, menor es la ventaja del híbrido, hasta acercarse a cero.

Otro caso claro son las llaves de cierre. El equipo encontró que las llaves de cierre, pero no las de apertura, no muestran ventaja híbrida en corchetes en lenguaje, código y marcado, un patrón consistente con que la atención es suficiente para el emparejamiento de corchetes.

Pérdidas de Token Filtradas como Herramienta de Evaluación

Basándose en estos hallazgos, el equipo exploró el uso de pérdidas filtradas en tipos específicos de tokens como método de evaluación. Compararon tres modelos de 1B parámetros: un transformer, un híbrido y un modelo recurrente puro sin ninguna atención.

En tokens con significado que no son repeticiones, tanto el híbrido como el modelo recurrente puro superan al transformer, con el híbrido funcionando mejor. En tokens repetidos, el modelo recurrente puro, sin atención para retroceder en busca de la copia, queda detrás tanto del híbrido como del transformer.

"Por lo tanto, estas pérdidas de token filtradas revelan diferentes diferencias finas entre arquitecturas, incluyendo habilidades de copia y diferencias en palabras de contenido, temprano en el entrenamiento de una manera que de otro modo no sería visible", escribieron los investigadores.

Implicaciones para el Diseño de Arquitectura

El trabajo conlleva dos lecciones principales. Primero, una única pérdida general, el error promedio del modelo en todos los tokens, es demasiado burda para comparar arquitecturas transformer e híbridas. Puntuar la pérdida solo en los tokens que ponen a prueba una habilidad específica revela diferencias clave.

Segundo, la ventaja particular del híbrido en tokens de clase abierta puede estar relacionada con las capacidades de seguimiento de estado de las capas recurrentes. "Creemos que las mejores arquitecturas híbridas surgirán de entender, token por token, qué hace bien cada componente de un modelo", concluyó el equipo.

Los investigadores han publicado el informe completo, Olmo 3, Olmo Hybrid y sus artefactos abiertos asociados para que la comunidad los explore.