El benchmark que hizo hablar a los modelos de lenguaje: cómo GLUE de 2018 cambió la IA para siempre

Hace siete años, un grupo de investigadores de la Universidad de Nueva York y DeepMind publicó un artículo que la mayoría ignoró al principio. Titulado 'GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding', proponía una idea simple pero radical: en lugar de que cada laboratorio probara sus modelos en un conjunto diferente de tareas, el campo necesitaba un estándar común.

Ese estándar se convirtió en el benchmark General Language Understanding Evaluation, GLUE. Llegaría a ser el benchmark de PLN más citado de la historia, con más de 10,000 citas, y su sucesor SuperGLUE definiría la carrera hacia una IA lingüística a nivel humano.

El problema que resolvió GLUE

Antes de 2018, la investigación en PLN estaba fragmentada. Los equipos probaban sus modelos en los conjuntos de datos a los que tenían acceso, a veces solo una o dos tareas. Los resultados eran difíciles de comparar. Un modelo que puntuaba bien en análisis de sentimientos podía fallar en respuesta a preguntas, pero nadie tenía una forma sistemática de medir esa compensación.

GLUE reunió nueve tareas diversas en una sola puntuación. Iban desde juicios de aceptabilidad gramatical (CoLA) hasta inferencia en lenguaje natural (MNLI, QNLI, RTE), detección de paráfrasis (MRPC, QQP), análisis de sentimientos (SST-2) y similitud textual (STS-B). Las tareas abarcaban intencionadamente diferentes fenómenos lingüísticos: sintaxis, semántica, pragmática y diferentes tamaños de conjuntos de datos, desde unos pocos miles de ejemplos hasta cientos de miles.

'La idea era crear una prueba de estrés', dijo uno de los creadores del benchmark en una entrevista de 2020. 'Si tu modelo puede rendir bien en las nueve tareas, tienes alguna evidencia de que realmente está aprendiendo lenguaje, no solo memorizando patrones en un único conjunto de datos'.

El benchmark incluía un conjunto de prueba oculto en un servidor privado, lo que prevenía el sobreajuste accidental. Y aplicaba una regla estricta: los participantes solo podían enviar una vez por tarea por semana, desalentando el ajuste por fuerza bruta.

La carrera hacia la cima

La tabla de clasificación de GLUE se convirtió rápidamente en la arena más competitiva de la IA. En 2018, el estado del arte rondaba los 70 puntos sobre 100. Luego llegaron ELMo, BERT, RoBERTa, XLNet, ALBERT y T5, cada modelo superando al anterior. A mediados de 2019, BERT Large obtuvo 82.7. Para 2020, T5 superó 90. Y para 2022, los modelos puntuaban regularmente por encima de 92, acercándose a lo que los creadores del benchmark estimaban como rendimiento humano: entre 87.1 y 92.8, según la tarea.

La dinámica competitiva del benchmark hizo exactamente lo que sus creadores esperaban: concentró el esfuerzo de investigación en un objetivo concreto y cuantificable. 'GLUE convirtió el PLN en un deporte', comentó un investigador de Google en 2019. 'Cada laboratorio quería estar en la cima de esa tabla de clasificación'.

Pero el deporte tuvo efectos secundarios. A medida que los modelos subían en la tabla, los investigadores comenzaron a preguntarse si GLUE realmente medía la comprensión del lenguaje, o solo la capacidad de explotar atajos estadísticos en los conjuntos de datos del benchmark.

SuperGLUE y el ajuste de cuentas

A finales de 2019, GLUE había alcanzado un punto de saturación. Muchos modelos puntuaban por encima de 90, y las tareas más difíciles se habían resuelto efectivamente. Los creadores del benchmark publicaron SuperGLUE en noviembre de 2019, una versión más difícil con ocho nuevas tareas diseñadas para resistir los mismos trucos de reconocimiento de patrones. Estas incluían comprensión lectora con razonamiento de sentido común (ReCoRD), resolución de pronombres estilo Winograd (WSC) y comprensión lectora de múltiples oraciones (MultiRC).

SuperGLUE reinició la carrera. Las puntuaciones iniciales en el nuevo benchmark estaban en los 60. Para 2021, los modelos alcanzaron los altos 80. Y cuando PaLM 2 obtuvo 91.3 en 2023, superó por primera vez la línea base humana estimada, aunque los diseñadores del benchmark advirtieron que las estimaciones de rendimiento humano eran inciertas por sí mismas.

'SuperGLUE es más difícil, pero hereda la misma tensión fundamental que GLUE: el deseo de un solo número que encapsule el progreso frente a la realidad de que la comprensión del lenguaje es multidimensional', escribió un investigador de PLN en un estudio de 2022.

El legado: de GLUE al presente

La influencia de GLUE se extiende mucho más allá de su tabla de clasificación. Estableció la plantilla que prácticamente todos los benchmarks posteriores de IA siguen: un conjunto curado de tareas, una puntuación agregada ponderada, un conjunto de prueba secreto y una tabla de clasificación pública. La biblioteca de conjuntos de datos de Hugging Face, que alberga cientos de conjuntos de datos de PLN, debe en parte su estructura al formato estandarizado que GLUE pionero.

Los benchmarks de IA más destacados de hoy, MMLU para conocimiento, HumanEval para código, Chatbot Arena para capacidad conversacional, todos toman elementos del paradigma GLUE. Comparten la misma tensión entre estandarización y simplificación: hacen que el progreso sea mensurable, pero corren el riesgo de reducir lo que se optimiza.

La crítica olvidada

La contribución más importante de GLUE puede ser la crítica que generó. El benchmark destacó con éxito cómo los modelos podían alcanzar fácilmente puntuaciones altas sin comprensión genuina, un problema que había estado presente desde los primeros días de la evaluación de la IA. En 2019, investigadores de Facebook AI mostraron que BERT podía ser engañado por patrones superficiales, como cambiar una sola negación en ejemplos de MNLI. El benchmark se convirtió en un laboratorio para estudiar estas vulnerabilidades, que luego informaron el trabajo sobre robustez adversarial y contaminación de conjuntos de datos.

Cuando se lanzó GPT-3 en 2020, los autores lo evaluaron explícitamente contra SuperGLUE, reportando una puntuación de 71.8 con prompting de pocos ejemplos. Ese número, impresionante pero no dominante, ayudó a enmarcar la conversación sobre las capacidades de GPT-3 como impresionantes pero no revolucionarias para las tareas de comprensión del lenguaje. Dio a la comunidad un punto de referencia común.

Lo que GLUE no capturó

A pesar de su impacto, GLUE dejó fuera dimensiones enteras de la comprensión del lenguaje. No probó generación de formato largo, ni coherencia en diálogos, ni razonamiento sobre relaciones temporales o causales, ni fundamentación lingüística en el mundo físico. Las tareas se presentaban solo en inglés. El benchmark asumía implícitamente que la comprensión del lenguaje era una propiedad del texto en sí, no del mundo al que el texto se refiere.

Estas brechas explican por qué benchmarks posteriores evolucionaron en direcciones diferentes: MMLU prueba conocimiento del mundo, TruthfulQA prueba honestidad, y BigBench prueba razonamiento estructurado. Pero ninguno de ellos existiría en su forma actual sin que GLUE demostrara que el enfoque basado en benchmarks podía funcionar.

La jubilación silenciosa

El sitio web de GLUE todavía alberga la tabla de clasificación, pero el benchmark está en gran medida retirado del uso activo. La última puntuación significativa se publicó en 2022. La mayoría de los laboratorios ahora prueban en MMLU, HumanEval o evaluaciones personalizadas. Cuando Anthropic lanzó Claude 3 en 2024, reportaron puntuaciones en MMLU, no en GLUE. Cuando Google publicó Gemini, lideraron con MMLU.

Sin embargo, cada nuevo benchmark enfrenta el mismo desafío fundamental que GLUE identificó hace una década: cómo diseñar una evaluación que sea lo suficientemente rigurosa para ser útil, lo suficientemente amplia para ser significativa y lo suficientemente difícil para resistir la explotación. La respuesta nunca es permanente. Pero la conversación que GLUE inició continúa moldeando el campo.

Como uno de sus creadores dijo en una retrospectiva de 2023: 'Construimos GLUE porque estábamos frustrados de que nadie pudiera comparar modelos. Nunca imaginamos que se convertiría en la plantilla para la próxima década de evaluación de IA. Solo queríamos saber qué modelo era mejor, y el lenguaje es tan complejo que incluso ese objetivo simple resultó ser un proyecto de investigación de varios años'.