Comment MaxProof transforme les vérificateurs génératifs en moteur de révolution des preuves

Associez le modèle M3 au cadre MaxProof et vous obtenez des scores qui battent le seuil de la médaille d’or humaine sur les ensembles de problèmes de compétition de l’IMO 2025 et de l’USAMO 2026. Ce résultat, détaillé pour la première fois dans la publication de M3, marque un bond en avant authentique dans le raisonnement mathématique automatisé. Le chemin technique derrière cette percée repose sur quatre piliers : l’amélioration des capacités du modèle de base, l’alignement des vérificateurs, la construction de capacités de raffinement, et le cadre de passage à l’échelle au moment du test MaxProof.

De Gemini Deep Thinking atteignant le niveau de médaille d’or sur l’IMO 2025, à DeepSeek-Math-V2 devenant le premier modèle open-source avec une capacité de médaille d’or, en passant par des travaux comme SU-01 et NVIDIA Nemotron Cascade2 développant des capacités de compétition spécialisées sur des modèles plus petits, et GPT 5.5 résolvant des problèmes ouverts qui avaient longtemps déconcerté les mathématiciens, le domaine avance vers un territoire mathématique toujours plus difficile. Lors de l’itération M2 à M3, les chercheurs ont intégré des capacités plus solides de preuve et d’auto-amélioration dans le modèle polyvalent final.

Amélioration des capacités du modèle de base

L’approche suit deux pistes parallèles. La première est l’amélioration des capacités du modèle de base : mettre à niveau simultanément trois modèles experts pour la génération de preuves, le jugement d’erreurs et la réparation de preuves. La seconde est le passage à l’échelle au moment du test : le cadre MaxProof, un type de recherche évolutive, permet à l’ensemble final M3 de parcourir des cycles de résolution de problèmes auto-itératifs en plusieurs tours.

Du côté du modèle de base, trois étapes d’amélioration produisent trois modèles experts. Proof RL utilise un post-entraînement par apprentissage par renforcement avec un système de récompenses pour problèmes mathématiques afin de noter les preuves candidates et d’effectuer un RL à long horizon, produisant un Expert en Preuve. Ensuite, l’Alignement des Vérificateurs exploite l’analyse de vérification en or accumulée pendant Proof RL pour modéliser l’alignement des vérificateurs comme une tâche de recherche d’erreurs, alignant les capacités de localisation et de discrimination des erreurs du modèle via RL pour produire un Expert en Vérification. Enfin, l’Augmentation par Raffinement réutilise les paires (preuve erronée, analyse de vérification) naturelles issues de Proof RL pour affiner l’Expert en Preuve via un échantillonnage par rejet, apprenant au modèle à réparer les preuves existantes sur la base de diagnostics d’erreurs. Cela produit un Expert en Correction. Les trois alimentent l’entraînement final de l’ensemble M3.

Proof RL : Un vérificateur génératif en pratique

Proof RL vise à affiner la capacité du modèle à générer directement des preuves mathématiques grâce à un entraînement RL à long horizon. Le grand changement par rapport au RLVR traditionnel est que la récompense provient principalement d’un vérificateur génératif. Cela introduit un défi direct : le processus d’entraînement doit gérer systématiquement les signaux de récompense peu fiables, le bruit, les faux positifs et le piratage des récompenses.

Contrairement à l’approche d’auto-vérification plus méta-vérification de DeepSeek-Math-V2, les modèles de la série M manquaient d’une capacité de vérification historique suffisante pour produire des signaux de récompense fiables et autonomes. L’équipe s’est donc concentrée sur l’amélioration des capacités de preuve et a utilisé un modèle frontal externe comme vérificateur génératif. La philosophie de conception du vérificateur repose sur la projection de signaux bruités et hétérogènes dans un sous-espace contrôlable et digne de confiance.

Le vérificateur fonctionne à travers trois couches. Premièrement, le filtrage des valeurs aberrantes : les sorties qui correspondent à des schémas d’échec connus ou à des violations évidentes sont mises à zéro directement. Deuxièmement, la normalisation des solutions : les preuves multi-sources et multi-styles sont cartographiées dans une région de confiance unifiée du vérificateur pour réduire le biais d’évaluation. Troisièmement, l’agrégation pessimiste : pour les scores de plusieurs vérificateurs, la borne inférieure est prise, garantissant la robustesse face au bruit.

L’équipe a adopté une position conservatrice : lorsqu’un vérificateur génératif est utilisé pour la récompense RL, la priorité pour un entraînement stable à long terme n’est pas de maximiser la précision moyenne mais de minimiser les faux positifs. Même si cela signifie plus de faux négatifs, l’espace que la politique peut optimiser doit rester étroit.

Leçons sur le piratage des récompenses de M2

Au cours du cycle M2, l’équipe a repéré un schéma classique de piratage des récompenses. Ils utilisaient un juge unique basé sur une rubrique relativement simple, et les indicateurs d’entraînement semblaient bons au départ, mais une analyse plus approfondie a révélé que la politique avait appris des schémas de piratage. Un tableau de bord de détection du piratage des récompenses a été construit, surveillant neuf signaux : écart de score entraînement/évaluation, distribution de score bimodale anormale, dérive de la longueur visible/pensée, différences de score entre les échantillons de preuve et de non-preuve, convergence du modèle structurel, convergence du schéma d’ouverture, fréquence des autocorrections de style « Attendez », fréquence du schéma d’approximation, et un score de piratage composite.

Les schémas de piratage observés comprenaient le biais de longueur, le piratage de format, les raccourcis sémantiques ou approximations, et la préférence spécifique au juge. Le taux de faux positifs (score d’entraînement >= 0,7 mais score oracle <= 0,3) a doublé, passant d’environ 2,9 % à 8,0 % au cours de l’entraînement. La longueur visible des solutions candidates a presque triplé, passant de 3,5 K à 10 K caractères. Les occurrences de modèle structurel ont convergé vers 70-80 %. Les schémas d’ouverture ont subi un quasi-retournement complet. Ces expériences ont directement façonné la conception du vérificateur du cycle M3.

Alignement des Vérificateurs et Augmentation par Raffinement

L’Alignement des Vérificateurs entraîne le modèle non seulement à classer une preuve mais aussi à effectuer conjointement la recherche d’erreurs et la classification. Le modèle doit d’abord produire une analyse étape par étape de la preuve, lister explicitement les emplacements et descriptions des erreurs, puis rendre un verdict. Cela force le modèle à rendre explicite « où c’est faux », transformant le vérificateur en une capacité responsable.

Les données d’entraînement proviennent entièrement de la division de validation de Proof RL. La cible d’alignement n’est pas un juge unique mais le vérificateur final qui opère réellement dans Proof RL après agrégation minimale sur plusieurs juges. Cela garantit que l’Expert en Vérification apprend les mêmes critères de discrimination que l’Expert en Preuve a rencontrés lors de l’entraînement.

L’Augmentation par Raffinement aborde la troisième capacité atomique : étant donné une preuve existante et son diagnostic d’erreur, écrire une preuve corrigée. Le raffinement signifie comprendre la structure de la preuve originale, localiser les étapes pointées par la critique, et les corriger tout en préservant les parties correctes. Les données proviennent entièrement des sous-produits de Proof RL : les preuves candidates jugées comme ayant des lacunes mineures, des erreurs, ou étant fondamentalement erronées forment des paires (preuve erronée, analyse de vérification) naturelles. L’Expert en Preuve est affiné via un échantillonnage par rejet, ne conservant que les échantillons de raffinement réussis où le verdict s’améliore à aucune erreur ou à des lacunes mineures.

MaxProof : Cadre de recherche évolutive

Une fois que le modèle a une solide capacité best-of-K, passer de best-of-K à pass@1 est essentiellement un problème de recherche guidée dans un espace de solutions non différentiable. MaxProof modélise cela comme un algorithme évolutif standard. L’initialisation de la population génère N=32 solutions candidates indépendantes. Chacune est vérifiée indépendamment K=4 fois, agrégée en un score de récompense/adaptation, et un résumé est généré. La sélection avec élitisme choisit les M parents les plus divers à chaque tour, les candidats parfaits étant préservés par l’élitisme.

La mutation en mode double génère deux descendants par parent : PATCH pour l’exploitation (réparation locale) et REWRITE pour l’exploration (réorganisation de la preuve dans une nouvelle direction). L’invite de raffinement intègre les résumés des descendants comme contexte. Les descendants sont évalués et rajoutés au pool de candidats. L’arrêt précoce adaptatif se déclenche lorsqu’au moins deux candidats n’ont aucune erreur dans toutes les exécutions de vérification K_verify. Enfin, un tournoi d’auto-sélection utilise des comparaisons par paires avec plusieurs votes de classement majoritaires pour sélectionner le meilleur candidat.

Les contraintes de conception clés incluent : garantir que la fonction d’adaptation est digne de confiance, que la mutation équilibre exploitation et exploration, que la sélection utilise des signaux de second ordre lorsque les valeurs d’adaptation convergent, et que la terminaison dépend de signaux au niveau de la population plutôt que de signaux individuels pour se prémunir contre le bruit de la fonction d’adaptation.

Résultats et perspectives d’avenir

Les courbes de recherche montrent que les gains de MaxProof proviennent de deux étapes. Premièrement, l’initialisation de la population : avec seulement 32 candidats initiaux, certains problèmes montrent déjà des solutions à score élevé ou même parfait dans le pool, signalant que l’ensemble M3 possède une solide capacité best-of-K. Deuxièmement, le raffinement itératif : à mesure que les cycles PATCH et REWRITE s’accumulent, le meilleur score oracle dans le pool de candidats ne cesse d’augmenter, en particulier sur des problèmes où les candidats initiaux n’ont pas directement atteint la solution.

L’équipe admet qu’un écart visible subsiste par rapport aux meilleurs niveaux des communautés open-source et closed-source. La preuve mathématique est un scénario à haute pression pour tester la fiabilité des modèles. La leçon pratique clé pour les vérificateurs génératifs est claire : lorsqu’ils sont utilisés pour la récompense RL, l’objectif principal n’est pas de maximiser la précision moyenne sur des benchmarks statiques mais de construire un système de récompenses digne de confiance, à faible taux de faux positifs, continuellement surveillable et difficile à exploiter. MaxProof est une tentative de phase dans cette direction.