ARC-AGI-2: El benchmark que mide la inteligencia fluida en sistemas de IA

El Corpus de Abstracción y Razonamiento, ahora en su segunda generación, no es un benchmark común. A diferencia de MMLU o GPQA Diamond, que recompensan la recuperación profunda de conocimiento, ARC-AGI-2 está diseñado para aislar una capacidad cognitiva específica: la inteligencia fluida. El término, extraído del marco de psicología de Raymond Cattell, se refiere a la capacidad de razonar sobre problemas novedosos e identificar patrones bajo incertidumbre. La inteligencia cristalizada, por el contrario, es el cuerpo acumulado de hechos que una persona, o un modelo, ha internalizado con el tiempo. La mayoría de los benchmarks de LLM recompensan esto último; ARC-AGI-2 está construido para recompensar lo primero.

Cómo funciona ARC-AGI-2

Cada tarea presenta un puñado de pares de cuadrículas de entrada/salida, típicamente entre dos y cuatro, y una nueva entrada de prueba. El modelo debe inferir la regla de transformación que mapea cada entrada a su salida y luego aplicarla a la cuadrícula de prueba. Las celdas son enteros del 0 al 9, mapeados a una paleta fija de diez colores que es puramente decorativa. La dificultad reside en la estructura, no en los colores.

El formato es deliberadamente de pocos ejemplos. Dos o tres ejemplos rara vez son suficientes para desambiguar una regla solo mediante la coincidencia de patrones. Para producir la salida correcta, el modelo debe generar hipótesis, verificar cada una con los pares de demostración, refinar cuando una hipótesis falla y comprometerse con la regla que sobrevive a cada ejemplo. Las reglas no están extraídas de ninguna taxonomía publicada; cada rompecabezas es un problema único.

¿Por qué cuadrículas visuales?

La elección de cuadrículas visuales es central en el diseño del benchmark. Los benchmarks de conocimiento como MMLU y GPQA Diamond recompensan la capacidad de recuperar hechos vistos muchas veces durante el entrenamiento. ARC-AGI-2 deliberadamente evita eso. Una regla de transformación de cuadrícula que nunca ha aparecido en un libro de texto le da al benchmark espacio para discriminar la inducción genuina de patrones de soluciones memorizadas. La capacidad que apunta, la inteligencia fluida, es más difícil de falsificar porque el preentrenamiento no ofrece ventaja en un problema nunca antes encontrado.

Línea base humana y umbral del premio

Dos números de línea base humana importan aquí. El estudio de calibración de ARC-AGI-2, realizado durante el rediseño de 2025, reclutó a cientos de participantes humanos. Cada tarea en el conjunto de evaluación fue resuelta por al menos dos humanos en dos intentos o menos, una tasa de finalización del panel del 100%. El rendimiento individual promedio, reportado en el repositorio de GitHub, se situó en el 66%. El umbral del gran premio se establece más alto: más del 85% en el conjunto de prueba privado, dentro de los límites de cómputo y eficiencia de tiempo de ejecución de Kaggle, para reclamar el gran premio de 700.000 dólares del ARC Prize 2026. Ese umbral no se ha alcanzado en los años de competencia 2024 ni 2025.

Tabla de clasificación actual (abril de 2026)

Según los datos de benchmarks rastreados por BenchLM, los diez mejores modelos en ARC-AGI-2 son:

1. GPT-5.5, 85 (Razonamiento)
2. GPT-5.4 Pro, 83.3 (Razonamiento)
3. Gemini 3.1 Pro, 77.1 (Sin razonamiento)
4. Claude Opus 4.7 (Adaptable), 75.8 (Razonamiento)
5. GPT-5.4, 73.3 (Razonamiento)
6. Claude Opus 4.6, 68.8 (Sin razonamiento)
7. Claude Sonnet 4.6, 59 (Sin razonamiento)
8. GPT-5.2 Pro, 54.2 (Razonamiento)
9. Grok 4.20, 53.3 (Razonamiento)
10. GPT-5.2, 52.9 (Razonamiento)

La dispersión es significativa: el mejor modelo en 85, el décimo en 52.9, con modelos como DeepSeek V3.2 en 4 y o3 en 3. ARC-AGI-2 no se comprime en ninguno de los extremos, algo poco común en un benchmark con un promedio humano del 66%. Proporciona una separación genuina a lo largo de la frontera de la capacidad de los modelos de razonamiento.

Por qué los modelos de razonamiento se destacan

De los cinco primeros, cuatro utilizan configuraciones explícitas de razonamiento. El mecanismo es intuitivo: los rompecabezas ARC se benefician de la prueba de hipótesis iterativa: generar una regla candidata, verificarla con pares de demostración, refinar cuando falla y comprometerse con una regla que sobrevive a cada ejemplo. Ese bucle es exactamente lo que permite el andamiaje de cadena de pensamiento. El costo es una latencia más larga y un mayor gasto por tarea, pero la ganancia en rendimiento es sustancial.

Qué mide y qué no mide ARC-AGI-2

ARC-AGI-2 se correlaciona con el rendimiento en tareas de agente en dominios novedosos, tareas de codificación ambiguas y problemas de razonamiento que no pueden resolverse mediante recuperación. No predice la recuperación de conocimiento (MMLU, GPQA), la fidelidad al seguimiento de instrucciones (IFEval), la calidad conversacional (Elo Arena) ni el razonamiento multilingüe (MGSM). Un modelo con 75 en ARC-AGI-2 y 60 en HLE es fuerte en inteligencia fluida pero débil en conocimiento; lo inverso también es posible. Ninguna prueba única cubre todas las capacidades.

El nombre 'AGI' refleja la apuesta de François Chollet de que la inteligencia fluida es la pieza faltante para una IA general. Si la apuesta es correcta sigue siendo una pregunta empírica abierta, pero ARC-AGI-2 está diseñado para medir el progreso hacia ese objetivo con un rigor inusual.