GPT-5.6 Sol (max) domine CritPt, un nouveau benchmark de problèmes inédits de recherche en physique

CritPt a été développé par le Laboratoire national d'Argonne et l'Université de l'Illinois à Urbana-Champaign spécifiquement pour contourner un problème croissant avec les benchmarks d'IA en physique : dès qu'un problème et sa réponse sont publics, les modèles peuvent les absorber lors de l'entraînement et sembler « raisonner » vers une solution qu'ils ont en fait mémorisée. CritPt s'appuie plutôt sur des problèmes inédits de recherche de niveau graduate, fournis par plus de 60 chercheurs issus de plus de 30 institutions dans le monde, ce qui empêche les modèles d'avoir vu les réponses à l'avance.

Selon le score indépendant d'Artificial Analysis, GPT-5.6 Sol (max) mène le peloton avec environ 32 % de score, gagnant environ 5 points par rapport à son prédécesseur, GPT-5.5 (xhigh) (openais-gpt-56-launch-rewrites-the-economics-of-frontier-ai), et terminant environ 4 points devant le Claude Fable 5 d'Anthropic (claude-fable-5-and-mythos-5-the-future-of-ai-is-gated-intelligence-222). Le reste du peloton chute fortement à partir de là, la plupart des autres modèles de pointe obtenant des scores compris entre un chiffre et la vingtaine.

Même en tête du classement, un score proche de 32 % rappelle à quel point le benchmark est difficile par conception : ce sont des problèmes issus de la recherche active en physique, et non des exercices de manuel, et aucun modèle ne s'approche de la résolution de la plupart d'entre eux. Artificial Analysis a présenté ce résultat comme un signal précoce de l'utilité potentielle des modèles de pointe dans la recherche scientifique réelle, plutôt que comme une preuve qu'un modèle peut déjà y contribuer de manière significative.