Leanstral 1.5 prouve que les anciennes règles de tarification de l'IA ne s'appliquent pas aux mathématiques

Pendant des années, la sagesse conventionnelle dans la démonstration automatique de théorèmes était simple : vous en avez pour votre argent. Des systèmes comme Seed-Prover et Aleph Prover obtenaient des résultats solides parce qu'ils brûlaient du calcul, parfois 10 jours-H100 par problème, et reposaient souvent sur des instructions en langage naturel provenant d'un grand LLM. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Le Leanstral 1.5 de Mistral AI bouleverse cette logique. Publié sous licence Apache-2.0 et disponible via un point de terminaison d'API gratuit, le modèle n'utilise que 6 milliards de paramètres actifs sur un total de 119 milliards. Malgré son empreinte modeste, il sature le benchmark miniF2F (100 % sur les ensembles de validation et de test), résout 587 des 672 problèmes de PutnamBench et atteint un nouvel état de l'art sur les benchmarks d'algèbre abstraite FATE-H (87 %) et FATE-X (34 %). the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

Mais le paramètre le plus instructif est le coût. Le Leanstral 1.5 fonctionne à environ 4 $ par problème résolu sur PutnamBench. Seed-Prover 1.5 en mode élevé coûte environ 300 $ ou plus par problème. Aleph Prover revient à 54,68 $. L'écart n'est pas progressif. Il est d'un ordre de grandeur, et dans le cas de Seed-Prover, de près de deux ordres de grandeur. cognitions-swe-17-pushes-coding-agent-cost-performance-further-with-42-benchmark-score

Un entraînement en trois étapes

Les performances du Leanstral 1.5 ne proviennent pas d'une seule innovation architecturale. Le pipeline d'entraînement est une séquence délibérée en trois étapes : un pré-entraînement intermédiaire sur un vaste corpus de mathématiques formelles, un ajustement supervisé sur des trajectoires de preuves et d'agents de code, et un apprentissage par renforcement utilisant une méthode que l'équipe appelle CISPO (context-invariant stable policy optimization).

La phase d'apprentissage par renforcement opère dans deux environnements. Dans le cadre multitour, le modèle reçoit un énoncé de théorème et doit le prouver ou le réfuter via une boucle itérative : soumettre une tentative de preuve, recevoir les commentaires du compilateur Lean, affiner. Dans l'environnement d'agent de code, Leanstral 1.5 agit comme un développeur, éditant des fichiers, exécutant des commandes bash, interrogeant le serveur de langage Lean pour les types d'objectifs et les erreurs, et persistant à travers plusieurs tours de compactage de contexte. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

C'est ce deuxième mode qui distingue Leanstral 1.5 des prouveurs antérieurs. Plutôt que de traiter la recherche de preuve comme un problème de génération unique, le modèle apprend à naviguer dans un workflow complet d'ingénierie de preuve, construisant des lemmes auxiliaires, refactorisant des preuves partielles et maintenant la cohérence sur de longs horizons. La preuve de complexité temporelle de l'arbre AVL, par exemple, a consommé 2,7 millions de tokens à travers 22 compactages avant d'aboutir à une borne O(log n) complète pour l'insertion et la suppression.

La frontière coût-performance se déplace

La courbe de mise à l'échelle au moment du test publiée avec le modèle raconte une histoire claire. Sur PutnamBench, le Pass@8 de Leanstral 1.5 augmente de manière monotone, passant de 44 problèmes résolus avec un budget de 50k tokens à 587 avec 4M tokens. La performance ne plafonne pas ; elle continue d'augmenter à mesure que le modèle peut raisonner plus longtemps, éditer des fichiers et réviser. one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

L'implication est que le plafond du modèle n'est pas encore connu. Les comparaisons existantes avec des systèmes fonctionnant dans des conditions différentes, Goedel-Architect avec des instructions en langage naturel, Aleph Prover à un coût par problème beaucoup plus élevé, deviennent moins pertinentes à mesure que le budget de Leanstral 1.5 augmente. Le modèle n'est pas seulement moins cher ; il se met à l'échelle plus efficacement.

Les bugs que les tests ont manqués

Les scores de benchmark importent, mais le signal plus pratique provient du pipeline de vérification de code de Leanstral 1.5. L'équipe a construit un workflow automatisé : Aeneas traduit le code Rust en Lean, Leanstral déduit l'intention de l'utilisateur et génère des propriétés de correction à partir du code, puis tente de prouver chaque propriété, et si toutes les preuves échouent, il tente de prouver la négation à la place. the-subtle-trap-waiting-for-ai-agents-in-production

Sur 57 dépôts, le pipeline a signalé 47 propriétés violées, dont 11 pointaient vers de véritables bugs. Cinq d'entre eux n'avaient pas été signalés sur GitHub auparavant. Un exemple : un dépassement de capacité dans la fonction sign pour le décodage en zigzag de la bibliothèque datrs/varinteger. Sur l'entrée Std.U64.MAX, l'expression (value + 1) fait un wrap, provoquant des plantages en mode débogage et une corruption silencieuse des données en mode release, exactement le type de cas limite que le fuzzing et les tests manquent régulièrement.

Cette découverte souligne un changement plus large. La vérification formelle a longtemps été considérée comme trop coûteuse et peu pratique pour les bases de code quotidiennes. Le Leanstral 1.5 n'élimine pas le coût, mais il abaisse suffisamment la barrière pour que la découverte automatisée de bugs devienne réalisable à grande échelle. À 4 $ par problème, exécuter un passage de vérification sur une crate Rust de taille moyenne n'est plus un projet de recherche ; c'est une étape CI raisonnable.

Le benchmark FLTEval devient open source

Parallèlement au modèle, Mistral AI a publié FLTEval, un benchmark basé sur des pull requests réelles du dépôt du Dernier Théorème de Fermat, en open source. Le Leanstral 1.5 améliore le pass@1 sur FLTEval de 21,9 à 28,9 et le pass@8 de 31,9 à 43,2, dépassant les 39,6 d'Opus 4.6 pour un septième du coût. L'écart par rapport aux modèles open-source trois à dix fois plus grands se creuse. inside-meta-ai-the-lab-betting-billions-on-open-source-intelligence

Ce que cela signifie pour le domaine

Le Leanstral 1.5 ne prétend pas avoir résolu la vérification formelle. Le modèle rencontre encore des difficultés avec des problèmes qui nécessitent une créativité mathématique profonde ou des connaissances spécifiques au domaine absentes de ses données d'entraînement. Mais il démontre que la barrière du coût, et non la barrière technique, a été la plus grande contrainte à l'adoption. the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

À 4 $ par problème, avec une licence Apache-2.0 et une API gratuite, Leanstral 1.5 rend la vérification formelle accessible à des projets qui n'y auraient jamais songé auparavant. Le modèle ne remplacera pas les mathématiciens ou les ingénieurs de preuve humains, mais il change le calcul du moment où l'automatisation a du sens. Et dans un domaine où les budgets de calcul ont été le principal gardien, c'est un changement significatif.