SevenTnewS

Lean 4

Leanstral 1.5证明AI定价的旧规则不适用于数学

Leanstral 1.5,一款拥有6B活跃参数的模型,在miniF2F上达到饱和,解决了587道PutnamBench问题,并发现了开源仓库中5个此前未报告的错误。每解决问题成本约4美元,比Seed-Prover便宜75倍,比Aleph Prover便宜15倍,挑战了形式验证需要巨大计算预算的假设。

Emmanuel Fabrice Omgbwa Yasse

2026-07-12 · 阅读需 4 分钟

Leanstral 1.5证明AI定价的旧规则不适用于数学

多年来,自动定理证明领域的传统观点很简单:一分钱一分货。像Seed-Prover和Aleph Prover这样的系统之所以能取得强劲结果,是因为它们消耗了大量算力,有时每个问题需要10个H100天,并且常常依赖来自更大LLM的自然语言指导。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

Mistral AI的Leanstral 1.5颠覆了这一逻辑。该模型基于Apache-2.0许可证发布,并作为免费API端点提供,仅使用总参数量119B中的6B活跃参数。尽管规模不大,它在miniF2F基准上达到饱和(验证集和测试集均为100%),解决了672道PutnamBench问题中的587道,并在FATE-H(87%)和FATE-X(34%)抽象代数基准上取得了新的最先进水平。the-quiet-finding-on-chain-of-thought-monitoring-that-should-worry-frontier-labs

但更具指导意义的指标是成本。Leanstral 1.5在PutnamBench上每解决一个问题大约花费4美元。Seed-Prover 1.5在高设置下每问题估算成本超过300美元。Aleph Prover则为54.68美元。差距不是渐进的,而是数量级上的,在Seed-Prover的情况下,接近两个数量级。cognitions-swe-17-pushes-coding-agent-cost-performance-further-with-42-benchmark-score

三阶段训练打磨

Leanstral 1.5的性能并非来自单一架构创新。其训练流程是一个精心设计的三阶段序列:在大量形式数学语料上进行中期训练,在证明和代码智能体轨迹上进行监督微调,以及使用团队称为CISPO(上下文不变稳定策略优化)的方法进行强化学习。

RL阶段在两个环境中运行。在多轮设置中,模型接收一个定理陈述,并必须通过迭代循环来证明或证伪它:提交证明尝试,接收Lean编译器反馈,进行改进。在代码智能体环境中,Leanstral 1.5表现得像一个开发者,编辑文件、运行bash命令、查询Lean语言服务器以获取目标类型和错误,并通过多轮上下文压缩持续运行。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

第二种模式正是Leanstral 1.5与早期证明器区别开来的地方。该模型不是将证明搜索视为单次生成问题,而是学习驾驭完整的证明工程工作流程:构建辅助引理、重构部分证明,并在长程任务中保持连贯性。例如,AVL树时间复杂度证明耗费了270万token,经过22次压缩,才最终得到插入和删除的完整O(log n)界限。

成本-性能前沿被弯曲

随模型发布的测试时缩放曲线清楚地说明了这一点。在PutnamBench上,Leanstral 1.5的Pass@8从50k token预算下解决44个问题,单调递增到4M token下解决587个。性能并未趋于平稳;随着模型被允许进行更长的推理、编辑文件和修订,性能持续上升。one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

其含义是,该模型的天花板尚不明确。现有与不同条件下运行系统的比较, , 例如Goedel-Architect使用自然语言指导,Aleph Prover每问题成本更高, , 随着Leanstral 1.5预算的增加,变得不那么相关。该模型不仅更便宜,而且其扩展效率更高。

测试遗漏的错误

基准分数很重要,但更实际的信号来自Leanstral 1.5的代码验证流程。团队构建了一个自动化工作流:Aeneas将Rust代码翻译为Lean,Leanstral推断用户意图并从代码中生成正确性属性,然后尝试证明每个属性,如果所有证明都失败,则转而尝试证明否定。the-subtle-trap-waiting-for-ai-agents-in-production

在57个仓库中,该流程标记了47个违反的属性,其中11个指向真正的错误。其中有5个此前未在GitHub上报告过。一个例子:datrs/varinteger库的zigzag解码中sign函数的溢出。输入Std.U64.MAX时,表达式(value + 1)会回绕,导致调试模式崩溃和发布模式下的数据静默损坏,这正是模糊测试和常规测试通常会遗漏的那种边缘情况。

这一发现凸显了一个更广泛的转变。长期以来,形式验证被认为过于昂贵且不适用于日常代码库。Leanstral 1.5并未消除成本,但它将门槛降低到足以使自动化错误发现变得可行且可规模化。以每问题4美元的成本,对中型Rust crate运行验证通行证不再是一个研究项目;它是一个合理的CI步骤。

FLTEval基准开源发布

随模型一起,Mistral AI将FLTEval基准(基于费马大定理仓库的真实拉取请求)作为开源发布。Leanstral 1.5将FLTEval上的pass@1从21.9提升至28.9,pass@8从31.9提升至43.2,以七分之一的成本超越了Opus 4.6的39.6。与规模大三到十倍的开源模型之间的差距正在拉大。inside-meta-ai-the-lab-betting-billions-on-open-source-intelligence

对领域意味着什么

Leanstral 1.5并未声称解决了形式验证。该模型在需要深度数学创造力或其训练数据中不存在的特定领域知识的问题上仍然存在困难。但它证明了成本障碍,而非技术障碍,一直是制约采用的主要因素。the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

以每问题4美元的成本,加上Apache-2.0许可证和免费API,Leanstral 1.5使得形式验证对于那些以前从未考虑过它的项目变得可及。该模型不会取代人类数学家或证明工程师,但它改变了何时自动化才有意义的经济学计算。在一个计算预算一直是主要看门人的领域,这是一个有意义的转变。