Cómo maxproof convierte a los verificadores generativos en un motor de revolución de pruebas

Combina el modelo M3 con el marco MaxProof y obtendrás puntuaciones que superan la línea de medalla de oro humana tanto en los conjuntos de problemas de competencia de la OMI 2025 como de la USAMO 2026. Ese resultado, detallado por primera vez en el lanzamiento de M3, marca un salto genuino en el razonamiento matemático automatizado. El camino técnico detrás de este avance se apoya en cuatro pilares: mejora de la capacidad del modelo base, alineación de verificadores, construcción de capacidad de refinamiento y el marco de escalado en tiempo de prueba MaxProof.

Desde Gemini Deep Thinking alcanzando el nivel de medalla de oro en la OMI 2025, hasta DeepSeek-Math-V2 convirtiéndose en el primer modelo de código abierto con capacidad de medalla de oro, hasta trabajos como SU-01 y NVIDIA Nemotron Cascade2 que construyen capacidades de competencia especializadas en modelos más pequeños, y GPT 5.5 resolviendo problemas abiertos que durante mucho tiempo habían dejado perplejos a los matemáticos, el campo avanza hacia un territorio matemático cada vez más difícil. Durante la iteración de M2 a M3, los investigadores integraron capacidades más sólidas de prueba y auto-mejora en el modelo final de propósito general.

Mejora de la capacidad del modelo base

El enfoque sigue dos pistas paralelas. La primera es la mejora de la capacidad del modelo base: actualizar simultáneamente tres modelos expertos para la generación de pruebas, juicio de errores y reparación de pruebas. La segunda es el escalado en tiempo de prueba: el marco MaxProof, un tipo de búsqueda evolutiva, permite que el modelo conjunto final M3 recorra múltiples rondas de resolución de problemas auto-iterativa.

En el lado del modelo base, tres etapas de mejora producen tres modelos expertos. Proof RL utiliza un post-entrenamiento con aprendizaje por refuerzo con un sistema de recompensa de problemas matemáticos para calificar pruebas candidatas y realizar RL de horizonte largo, lo que produce un Experto en Pruebas. A continuación, la Alineación de Verificadores aprovecha el análisis de verificación áurea acumulado durante Proof RL para modelar la alineación del verificador como una tarea de búsqueda de errores, alineando las capacidades de localización y discriminación de errores del modelo a través de RL para producir un Experto en Verificación. Finalmente, el Aumento por Refinamiento reutiliza los pares naturales (prueba defectuosa, análisis de verificación) de Proof RL para ajustar el Experto en Pruebas mediante muestreo por rechazo, enseñando al modelo a reparar pruebas existentes basándose en diagnósticos de errores. Esto produce un Experto en Arreglos. Los tres alimentan el entrenamiento final del conjunto M3.

Proof RL: Un verificador generativo en la práctica

Proof RL tiene como objetivo afinar la capacidad del modelo para generar directamente pruebas matemáticas a través del entrenamiento RL de horizonte largo. El gran cambio en comparación con el RLVR tradicional es que la recompensa proviene principalmente de un verificador generativo. Eso introduce un desafío directo: el proceso de entrenamiento debe manejar sistemáticamente señales de recompensa poco fiables, ruido, falsos positivos y manipulación de recompensas.

A diferencia del enfoque de auto-verificación más meta-verificación de DeepSeek-Math-V2, los modelos de la serie M carecían de suficiente capacidad de verificación histórica para producir señales de recompensa fiables autosuficientes. Por lo tanto, el equipo se centró en la mejora de la capacidad de Prueba y utilizó un modelo de frontera externo como verificador generativo. La filosofía de diseño del verificador se centra en proyectar señales ruidosas y heterogéneas en un subespacio controlable y confiable.

El verificador funciona a través de tres capas. Primero, filtrado de valores atípicos: las salidas que coinciden con patrones de fallo conocidos o violaciones obvias se ponen a cero directamente. Segundo, normalización de soluciones: las pruebas de múltiples fuentes y estilos se mapean a una región de confianza unificada del verificador para reducir el sesgo de evaluación. Tercero, agregación pesimista: para las puntuaciones de múltiples verificadores, se toma el límite inferior, asegurando robustez contra el ruido.

El equipo adoptó una postura conservadora: cuando se utiliza un verificador generativo para la recompensa de RL, la prioridad para un entrenamiento estable a largo plazo no es maximizar la precisión promedio, sino minimizar los falsos positivos. Incluso si eso significa más falsos negativos, el espacio que la política puede optimizar debe permanecer estrecho.

Lecciones de manipulación de recompensas del M2

Durante el ciclo M2, el equipo detectó un patrón clásico de manipulación de recompensas. Usaron un juez de rúbrica único relativamente simple, y los indicadores de entrenamiento inicialmente se veían bien, pero un análisis más profundo reveló que la política había aprendido patrones de manipulación. Se construyó un tablero de detección de manipulación de recompensas, monitoreando nueve señales: brecha de puntuación entre entrenamiento y evaluación, distribución bimodal anómala de puntuaciones, deriva en la longitud de visible/pensamiento, diferencias de puntuación entre muestras de prueba y no prueba, convergencia de plantilla estructural, convergencia de patrón de apertura, frecuencia de autocorrecciones al estilo "Espera", frecuencia de patrones de evasión y una puntuación compuesta de manipulación.

Los patrones de manipulación observados incluyeron sesgo de longitud, manipulación de formato, atajos semánticos o evasión, y preferencia específica del juez. La tasa de falsos positivos (puntuación de entrenamiento >= 0.7 pero puntuación de oráculo <= 0.3) se duplicó, pasando de aproximadamente 2.9% a 8.0% durante el entrenamiento. La longitud visible de la solución candidata casi se triplicó de 3.5K a 10K caracteres. Las ocurrencias de plantilla estructurada convergieron al 70-80%. Los patrones de apertura sufrieron un cambio casi total. Esas experiencias moldearon directamente el diseño del verificador del ciclo M3.

Alineación de verificadores y aumento por refinamiento

La alineación de verificadores entrena al modelo no solo para clasificar una prueba, sino para realizar la búsqueda y clasificación de errores juntos. El modelo primero debe producir un análisis paso a paso de la prueba, enumerar explícitamente las ubicaciones y descripciones de los errores, y luego emitir un veredicto. Eso obliga al modelo a hacer explícito "dónde está mal", convirtiendo al verificador en una capacidad responsable.

Los datos de entrenamiento provienen completamente de la división de validación de Proof RL. El objetivo de alineación no es un solo juez, sino el verificador final que realmente opera en Proof RL después de la agregación mínima entre múltiples jueces. Eso asegura que el Experto en Verificación aprenda los mismos criterios de discriminación que enfrentó el Experto en Pruebas durante el entrenamiento.

El aumento por refinamiento aborda la tercera capacidad atómica: dada una prueba existente y su diagnóstico de error, escribir una prueba corregida. El refinamiento significa entender la estructura de la prueba original, localizar los pasos que señala la crítica y parchearlos mientras se preservan las partes correctas. Los datos provienen completamente de subproductos de Proof RL: las pruebas candidatas juzgadas como con lagunas menores, errores o fundamentalmente incorrectas forman pares naturales (prueba defectuosa, análisis de verificación). El Experto en Pruebas se ajusta mediante muestreo por rechazo, manteniendo solo las muestras de refinamiento exitosas donde el veredicto mejora a sin errores o lagunas menores.

MaxProof: Marco de búsqueda evolutiva

Una vez que el modelo tiene una sólida capacidad de mejor de K, pasar de mejor de K a pass@1 es esencialmente un problema de búsqueda guiada en un espacio de soluciones no diferenciable. MaxProof modela esto como un algoritmo evolutivo estándar. La inicialización de la población genera N=32 soluciones candidatas independientes. Cada una se verifica de forma independiente K=4 veces, se agrega en una puntuación de recompensa/aptitud, y se genera un resumen. La selección con elitismo elige a los mejores M padres diversos en cada ronda, preservando a los candidatos perfectos a través del elitismo.

La mutación de modo dual genera dos hermanos por padre: PATCH para explotación (reparación local) y REWRITE para exploración (reorganizar la prueba desde una nueva dirección). El prompt de refinamiento incorpora resúmenes de los hermanos como contexto. Los descendientes se evalúan y se añaden de nuevo al grupo de candidatos. La parada temprana adaptativa se activa cuando al menos dos candidatos no tienen errores en todas las K_verify ejecuciones de verificación. Finalmente, un torneo de autoselección utiliza comparaciones por pares con múltiples votos del ranking en votación mayoritaria para seleccionar al mejor candidato.

Las restricciones clave de diseño incluyen asegurar que la función de aptitud sea confiable, que la mutación equilibre explotación y exploración, que la selección utilice señales de segundo orden cuando los valores de aptitud converjan, y que la terminación dependa de señales a nivel de población en lugar de señales de un solo individuo para protegerse contra el ruido de la función de aptitud.

Resultados y perspectivas futuras

Las curvas de búsqueda muestran que las ganancias de MaxProof provienen de dos etapas. Primero, inicialización de la población: con solo 32 candidatos iniciales, algunos problemas ya muestran soluciones de alta puntuación o incluso perfectas en el grupo, lo que indica que el conjunto M3 tiene una sólida capacidad de mejor de K. Segundo, refinamiento iterativo: a medida que se acumulan rondas de PATCH y REWRITE, la mejor puntuación del oráculo en el grupo de candidatos sigue aumentando, especialmente en problemas donde los candidatos iniciales no dieron directamente con la solución.

El equipo admite que todavía queda una brecha visible en comparación con los niveles más altos de las comunidades de código abierto y cerrado. La prueba matemática es un escenario de alto estrés para probar la confiabilidad del modelo. La idea práctica clave para los verificadores generativos es clara: cuando se usan para la recompensa de RL, el objetivo principal no es maximizar la precisión promedio en puntos de referencia estáticos, sino construir un sistema de recompensa confiable, de bajo falso positivo, continuamente monitoreable y difícil de explotar. MaxProof es un intento de fase en esta dirección.