ARC-AGI-2 : Le benchmark qui mesure l’intelligence fluide des systèmes d’IA

Le corpus d’abstraction et de raisonnement, désormais dans sa deuxième génération, n’est pas un benchmark ordinaire. Contrairement à MMLU ou GPQA Diamond, qui récompensent la récupération de connaissances approfondies, ARC-AGI-2 est conçu pour isoler une capacité cognitive spécifique : l’intelligence fluide. Ce terme, emprunté au cadre psychologique de Raymond Cattell, désigne la capacité à raisonner en temps réel sur des problèmes nouveaux et à identifier des motifs dans l’incertitude. L’intelligence cristallisée, en revanche, est le corpus accumulé de faits qu’une personne, ou un modèle, a intériorisé au fil du temps. La plupart des benchmarks LLM récompensent cette dernière ; ARC-AGI-2 est conçu pour récompenser la première.

Comment fonctionne ARC-AGI-2

Chaque tâche présente quelques paires d’entrée/sortie en grille, généralement deux à quatre, et une nouvelle entrée de test. Le modèle doit inférer la règle de transformation qui associe chaque entrée à sa sortie, puis l’appliquer à la grille de test. Les cellules sont des entiers de 0 à 9, mappés sur une palette fixe de dix couleurs purement décorative. La difficulté réside dans la structure, pas dans les couleurs.

Le format est délibérément en « few-shot ». Deux ou trois exemples suffisent rarement à lever l’ambiguïté d’une règle par simple correspondance de motifs. Pour produire la sortie correcte, le modèle doit générer des hypothèses, les vérifier par rapport aux paires de démonstration, les affiner si une hypothèse échoue, et s’engager sur la règle qui survit à chaque exemple. Les règles ne sont tirées d’aucune taxonomie publiée ; chaque puzzle est un problème unique.

Pourquoi des grilles visuelles ?

Le choix des grilles visuelles est central à la conception du benchmark. Les benchmarks de connaissances comme MMLU et GPQA Diamond récompensent la capacité à récupérer des faits vus de nombreuses fois pendant l’entraînement. ARC-AGI-2 évite délibérément cela. Une règle de transformation de grille qui n’est jamais apparue dans un manuel donne au benchmark la marge nécessaire pour distinguer l’induction de motifs authentique des solutions mémorisées. La capacité qu’il cible, l’intelligence fluide, est plus difficile à simuler car le pré-entraînement n’offre aucun avantage sur un problème jamais rencontré auparavant.

Référence humaine et seuil du prix

Deux chiffres de référence humaine sont importants ici. L’étude de calibration d’ARC-AGI-2, menée lors de la refonte de 2025, a recruté des centaines de participants humains. Chaque tâche de l’ensemble d’évaluation a été résolue par au moins deux humains en deux tentatives ou moins, soit un taux de complétion du panel de 100 %. La performance individuelle moyenne, rapportée dans le dépôt GitHub, s’est établie à 66 %. Le seuil du grand prix est fixé plus haut : plus de 85 % sur l’ensemble de validation privé, dans les limites d’efficacité de calcul et de temps d’exécution de Kaggle, pour prétendre au grand prix ARC Prize 2026 de 700 000 $. Cette barre n’a pas été atteinte lors des compétitions de 2024 ou 2025.

Classement actuel (avril 2026)

Selon les données de benchmarks suivies par BenchLM, les dix meilleurs modèles sur ARC-AGI-2 sont :

1. GPT-5.5, 85 (Raisonnement)
2. GPT-5.4 Pro, 83.3 (Raisonnement)
3. Gemini 3.1 Pro, 77.1 (Non-Raisonnement)
4. Claude Opus 4.7 (Adaptatif), 75.8 (Raisonnement)
5. GPT-5.4, 73.3 (Raisonnement)
6. Claude Opus 4.6, 68.8 (Non-Raisonnement)
7. Claude Sonnet 4.6, 59 (Non-Raisonnement)
8. GPT-5.2 Pro, 54.2 (Raisonnement)
9. Grok 4.20, 53.3 (Raisonnement)
10. GPT-5.2, 52.9 (Raisonnement)

L’écart est significatif : le meilleur modèle à 85, le dixième à 52,9, avec des modèles comme DeepSeek V3.2 à 4 et o3 à 3. ARC-AGI-2 ne se compresse à aucune extrémité, ce qui est rare pour un benchmark avec une moyenne humaine de 66 %. Il offre une réelle séparation dans l’ensemble des capacités de raisonnement des modèles de pointe.

Pourquoi les modèles de raisonnement excellent

Parmi les cinq premiers, quatre utilisent des configurations de raisonnement explicites. Le mécanisme est intuitif : les puzzles ARC bénéficient d’un test d’hypothèses itératif : générer une règle candidate, la vérifier par rapport aux paires de démonstration, l’affiner si elle échoue, et s’engager sur une règle qui survit à chaque exemple. Cette boucle correspond exactement à ce que permet l’architecture « chain-of-thought ». Le coût est une latence plus longue et une dépense plus élevée par tâche, mais le gain de performance est substantiel.

Ce qu’ARC-AGI-2 mesure et ne mesure pas

ARC-AGI-2 est corrélé aux performances des tâches agentiques dans des domaines nouveaux, aux tâches de codage ambiguës et aux problèmes de raisonnement qui ne peuvent pas être résolus par récupération. Il ne prédit pas la récupération de connaissances (MMLU, GPQA), la fidélité au suivi d’instructions (IFEval), la qualité conversationnelle (Arena Elo) ou le raisonnement multilingue (MGSM). Un modèle avec 75 sur ARC-AGI-2 et 60 sur HLE est fort en intelligence fluide mais faible en connaissances ; l’inverse est également possible. Aucun test unique ne couvre toutes les capacités.

Le nom « AGI » reflète le pari de François Chollet selon lequel l’intelligence fluide est la pièce manquante pour une IA générale. Que ce pari soit juste reste une question empirique ouverte, mais ARC-AGI-2 est conçu pour mesurer les progrès vers cet objectif avec une rigueur inhabituelle.