Leanstral 1.5 demuestra que las viejas reglas de los precios de IA no se aplican a las matemáticas

Durante años, la sabiduría convencional en la demostración automatizada de teoremas era simple: obtienes lo que pagas. Sistemas como Seed-Prover y Aleph Prover obtenían resultados sólidos porque quemaban cómputo, a veces 10 días de H100 por problema, y a menudo se basaban en guías de lenguaje natural de un LLM más grande. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Leanstral 1.5 de Mistral AI trastoca esa lógica. Publicado bajo una licencia Apache-2.0 y disponible como un endpoint de API gratuito, el modelo utiliza solo 6 mil millones de parámetros activos de un total de 119 mil millones. A pesar de su modesta huella, satura el benchmark miniF2F (100% en conjuntos de validación y prueba), resuelve 587 de 672 problemas de PutnamBench y logra un nuevo estado del arte en los benchmarks de álgebra abstracta FATE-H (87%) y FATE-X (34%). the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

Pero la métrica más instructiva es el costo. Leanstral 1.5 opera a aproximadamente $4 por problema resuelto en PutnamBench. Seed-Prover 1.5 en su configuración alta cuesta un estimado de $300 o más por problema. Aleph Prover cuesta $54.68. La brecha no es incremental. Es un orden de magnitud, y en el caso de Seed-Prover, casi dos órdenes de magnitud. cognitions-swe-17-pushes-coding-agent-cost-performance-further-with-42-benchmark-score

Un proceso de entrenamiento en tres etapas

El rendimiento de Leanstral 1.5 no provino de una única innovación arquitectónica. El pipeline de entrenamiento es una secuencia deliberada de tres etapas: entrenamiento intermedio en un corpus grande de matemáticas formales, ajuste fino supervisado en trayectorias de pruebas y agentes de código, y aprendizaje por refuerzo utilizando un método que el equipo llama CISPO (optimización de políticas estables invariantes al contexto).

La fase de RL opera en dos entornos. En el entorno multiturn, el modelo recibe una declaración de teorema y debe demostrarlo o refutarlo a través de un bucle iterativo: enviar un intento de prueba, recibir retroalimentación del compilador Lean, refinar. En el entorno de agente de código, Leanstral 1.5 actúa como un desarrollador, editando archivos, ejecutando comandos de bash, consultando el servidor de lenguaje Lean para tipos de objetivos y errores, y persistiendo a través de múltiples rondas de compactación de contexto. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

Ese segundo modo es lo que distingue a Leanstral 1.5 de los demostradores anteriores. En lugar de tratar la búsqueda de pruebas como un problema de generación única, el modelo aprende a navegar un flujo de trabajo completo de ingeniería de pruebas, construyendo lemas auxiliares, refactorizando pruebas parciales y manteniendo la coherencia a lo largo de horizontes largos. La prueba de complejidad temporal del árbol AVL, por ejemplo, consumió 2.7 millones de tokens en 22 compactaciones antes de llegar a una cota completa de O(log n) para inserción y eliminación.

La frontera costo-rendimiento se dobla

La curva de escalado en tiempo de prueba publicada con el modelo cuenta una historia clara. En PutnamBench, el Pass@8 de Leanstral 1.5 aumenta monótonamente de 44 problemas resueltos con un presupuesto de 50k tokens a 587 con 4M tokens. El rendimiento no se estabiliza; sigue aumentando a medida que se permite que el modelo razone más tiempo, edite archivos y revise. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

La implicación es que el techo del modelo aún no se conoce. Las comparaciones existentes con sistemas que operan bajo condiciones diferentes, Goedel-Architect con guía de lenguaje natural, Aleph Prover a un costo por problema mucho más alto, se vuelven menos relevantes a medida que aumenta el presupuesto de Leanstral 1.5. El modelo no solo es más barato; está escalando de manera más eficiente.

Errores que las pruebas pasaron por alto

Los puntajes de los benchmarks importan, pero la señal más práctica proviene del pipeline de verificación de código de Leanstral 1.5. El equipo construyó un flujo de trabajo automatizado: Aeneas traduce código Rust a Lean, Leanstral infiere la intención del usuario y genera propiedades de corrección a partir del código, luego intenta demostrar cada propiedad, y si todas las pruebas fallan, intenta demostrar la negación en su lugar. the-subtle-trap-waiting-for-ai-agents-in-production

A través de 57 repositorios, el pipeline señaló 47 propiedades violadas, de las cuales 11 apuntaban a errores genuinos. Cinco de esos no habían sido reportados en GitHub antes. Un ejemplo: un desbordamiento en la función sign para la decodificación zigzag de la biblioteca datrs/varinteger. En la entrada Std.U64.MAX, la expresión (value + 1) se desborda, causando fallos en modo debug y corrupción silenciosa de datos en modo release, exactamente el tipo de caso límite que el fuzzing y las pruebas rutinariamente pasan por alto.

El hallazgo subraya un cambio más amplio. La verificación formal ha sido considerada durante mucho tiempo demasiado costosa e impráctica para bases de código cotidianas. Leanstral 1.5 no elimina el costo, pero reduce la barrera lo suficiente como para que el descubrimiento automatizado de errores sea factible a escala. A $4 por problema, ejecutar un pase de verificación en un crate de Rust de tamaño mediano ya no es un proyecto de investigación; es un paso de CI razonable.

El benchmark FLTEval se vuelve de código abierto

Junto con el modelo, Mistral AI publicó FLTEval, un benchmark basado en pull requests reales del repositorio del Último Teorema de Fermat, como código abierto. Leanstral 1.5 eleva pass@1 en FLTEval de 21.9 a 28.9 y pass@8 de 31.9 a 43.2, superando el 39.6 de Opus 4.6 a un séptimo del costo. La brecha sobre modelos de código abierto tres a diez veces más grandes se está ampliando. inside-meta-ai-the-lab-betting-billions-on-open-source-intelligence

Qué significa para el campo

Leanstral 1.5 no afirma haber resuelto la verificación formal. El modelo todavía lucha con problemas que requieren una profunda creatividad matemática o conocimiento específico del dominio que no está presente en sus datos de entrenamiento. Pero demuestra que la barrera del costo, no la barrera técnica, ha sido la mayor restricción para la adopción. the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

A $4 por problema, con una licencia Apache-2.0 y una API gratuita, Leanstral 1.5 hace que la verificación formal sea accesible para proyectos que nunca la habrían considerado antes. El modelo no reemplazará a los matemáticos humanos o ingenieros de pruebas, pero cambia el cálculo de cuándo tiene sentido la automatización. Y en un campo donde los presupuestos de cómputo han sido el principal guardián, eso es un cambio significativo.