Ifbench: el nuevo benchmark que evalúa el seguimiento de instrucciones en IA

El trabajo de un modelo de IA no es solo producir una respuesta plausible, debe seguir instrucciones con precisión. Eso suena simple, pero es engañosamente difícil. Considere un usuario que quiere un resumen de tres oraciones, una reescritura en tono casual, o una respuesta que incluya una palabra mientras evita otra, a menudo todo a la vez. Un modelo puede captar perfectamente el tema y aun así fallar en la solicitud.

Aceptado en NeurIPS 2025, IFBench evalúa qué tan bien los modelos de lenguaje siguen ese tipo de instrucciones precisas en lenguaje natural. El año pasado, Artificial Analysis, una organización independiente de evaluación comparativa de IA, agregó IFBench a su Índice de Inteligencia, que combina varias evaluaciones en un solo puntaje para medir la capacidad general de un modelo.

"Vimos que la capacidad de un modelo para seguir instrucciones del usuario era algo que los desarrolladores valoraban mucho, por lo que quisimos evaluarlo explícitamente", dice Declan Jackson, miembro del personal técnico de Artificial Analysis. "IFBench fue diseñado para llenar ese vacío y fue un desafío incluso para los modelos fronterizos".

Midiendo la adherencia a una instrucción

IFBench no solo prueba el seguimiento básico de instrucciones, obliga a un modelo a manejar varias reglas a la vez. Algunas son sencillas, como recuentos mínimos de palabras o palabras clave requeridas. Otras son más complicadas: las oraciones deben coincidir en longitud, las palabras consecutivas no pueden comenzar con la misma letra, o una palabra clave debe colocarse en un lugar preciso.

"Eso es diferente de muchos otros benchmarks, donde el seguimiento de instrucciones se captura solo indirectamente a través de plantillas de salida o estructuras de respuesta solicitadas", dice Jackson.

Cada restricción podría parecer arbitraria por sí sola. Pero juntas, reflejan un escenario demasiado familiar: los usuarios a menudo piden múltiples cosas a la vez a un modelo, y perder incluso una puede arruinar la respuesta. Para fundamentar IFBench en el uso real, sus indicaciones se extraen de conversaciones reales de usuarios, no escritas desde cero por investigadores.

"IFBench mide el seguimiento de instrucciones de una manera que se siente más cercana al uso real que las evaluaciones anteriores de seguimiento de instrucciones", dice Jackson. "Las indicaciones utilizan un lenguaje casual, similar al del usuario, cubren una amplia gama de tonos y longitudes en lugar de seguir una plantilla fija, y se centran en tareas comunes como responder preguntas factuales, revisión y resumen de contenido, y apoyo creativo. La cobertura más amplia de IFBench también lo convierte en una señal general más fuerte de la capacidad de seguimiento de instrucciones".

Lo que IFBench muestra que otros benchmarks pasan por alto

Los benchmarks de IA suelen tener una vida útil corta. Una vez que los modelos comienzan a puntuar cerca de la cima, las evaluaciones dejan de ser útiles para distinguir sistemas. La mayoría de las evaluaciones agregadas al Índice de Inteligencia de Artificial Analysis se saturan en unos seis meses, dice Jackson.

Pero IFBench no lo ha hecho.

"Si bien los puntajes de IFBench han mejorado con el tiempo, ese progreso no ha sido uniforme entre los modelos, y los nuevos modelos fronterizos aún no siempre se desempeñan bien en él", dice Jackson.

Eso se debe a un par de factores.

El primero: el seguimiento complejo de instrucciones no se superpone mucho con lo que la mayoría de los laboratorios están entrenando activamente, dice Jackson. La codificación y el uso de herramientas reciben una fuerte inversión posterior al entrenamiento porque las ganancias allí tienden a generalizarse a otras tareas y benchmarks. El seguimiento de instrucciones es más limitado y rara vez mejora como efecto secundario del progreso en esas áreas.

El segundo es la gran amplitud de lo que mide IFBench. Su amplio conjunto de restricciones e indicaciones significa que el progreso ha sido más lento en comparación con evaluaciones de dominios o capacidades más específicas, que los laboratorios pueden abordar con recetas enfocadas de post-entrenamiento.

Eso se refleja en los números. Los puntajes de IFBench se agrupan marcadamente por familia de modelos, dice Jackson, y las clasificaciones no coinciden con el Índice de Inteligencia más amplio de Artificial Analysis.

xAI sigue liderando IFBench. Grok 4.20 (0309, Reasoning) ocupa el primer lugar con un 82.9%, seguido de cerca por Grok 4.3 con un 81.3%. Los modelos recientes de Google también puntúan bien: Gemini 3 Flash Preview (Reasoning) alcanza un 78.0%, mientras que Gemini 3.1 Flash-Lite Preview y Gemini 3.1 Pro Preview obtienen un 77.2% y un 77.1%, respectivamente. Los GPT-5.5 (xhigh) y GPT-5.4 (xhigh) de OpenAI les siguen con un 75.9% y un 73.9%. Los modelos líderes de Claude se agrupan más abajo en IFBench, con Claude Opus 4.7, Claude Sonnet 4.6 y Claude 4.5 Haiku puntuando entre 54.3% y 58.6%, aunque Claude Opus 4.7 se ubica cerca de la cima del Índice de Inteligencia con 57 puntos, detrás de GPT-5.5 (xhigh) con 60 y prácticamente empatado con Gemini 3.1 Pro Preview y GPT-5.4 (xhigh), que también puntúan 57.

Un enfoque verdaderamente abierto para las evaluaciones

IFBench es útil para Artificial Analysis por dos razones: lo que mide y el hecho de que se publica abiertamente.

La apertura permite que el equipo de Jackson implemente la evaluación fielmente y la ejecute en una amplia gama de modelos, alimentando las tablas de clasificación en las que confían sus usuarios. También facilita la comprensión del propio benchmark, ya que cualquiera puede ver qué se mide y por qué.

Para Artificial Analysis, IFBench prueba algo que surge en casi todas las interacciones de IA: si un modelo puede realizar un seguimiento de lo que un usuario está pidiendo, especialmente cuando la solicitud tiene mucho contenido. Ahora es una parte regular de las evaluaciones de Artificial Analysis y un ejemplo sólido de lo que los benchmarks abiertos de Ai2 aportan al campo.

"Más allá de las evaluaciones, Ai2 es un líder importante en código abierto", dice Jackson. "Su trabajo no solo ayuda a avanzar en la industria a través de la investigación abierta, sino que también brinda a los usuarios acceso a artefactos de investigación con transparencia en torno a los datos y la metodología".