M3团队找到阻止AI数学验证器作弊的方法，这为每个实验室提供了蓝图

对许多AI实验室而言，数学证明仍然是可靠推理的终极压力测试。与编码或通用问答不同，定理证明要求逻辑上严密的步骤链、对含糊其辞的零容忍，以及在首次尝试失败时自我修正的能力。M3团队的最新技术报告提供了一个罕见的视角，展示了他们如何解决这个问题。他们没有扩展单一模型，而是构建了一个由专业专家组成的系统，在推理过程中协同工作。minimax-m3-a-new-chinese-foundation-model-with-frontier-coding-agentic-capabilities-and-native-multimodality

这份用中文发布并在研究社区内流传的报告，详细描述了一个多阶段流水线，该流水线分离了三种原子推理技能：生成证明、验证证明以及修复有缺陷的尝试。该系统通过一个名为MaxProof的进化搜索框架来协调这些技能。结果是一个在2025年国际数学奥林匹克（IMO）和2026年美国数学奥林匹克（USAMO）竞赛中能够达到人类金牌水平表现的模型。anthropic-launches-claude-science-an-ai-workbench-tailored-for-researchers

三个专家模型，一个流水线

M3团队的核心见解是，数学推理需要分别训练不同技能。他们的流水线从相同的基础架构中产生了三个专家模型：

• 证明专家，通过强化学习（RL）训练，使用生成式验证器作为奖励信号。RL过程使用CISPO算法的一个变体和一个自定义奖励系统，该系统旨在以更保守为代价最小化误报。
• 验证器专家，它不仅学习分类证明的正确性，还学习定位论证失败的原因和位置。团队刻意避免了一个简单的标签预测任务。相反，他们要求模型输出逐步评估、明确的错误描述以及一个裁决结果，所有这些都由一个双目标奖励函数监控。
• 修正专家，它接收一个有缺陷的证明及其错误诊断作为输入，并生成一个修正版本。训练数据来自证明RL阶段的自然副产品：每个低于完美分数的候选证明都与其验证器分析配对，如果改进版本成功获得更高裁决，则用作监督微调材料。

这种分解让每个专家都能深度专业化。例如，修正专家并非试图从头生成证明，而是读取一个部分正确的尝试，理解验证器标记了哪些具体步骤，并进行针对性修复。这是一种根本不同的认知负荷。

学会了说“我不知道”的验证器

报告的一个核心主题是生成式验证器在用作RL奖励信号时的不可靠性。团队记录了来自M2迭代的惨痛教训：随着训练进行，在训练验证器下得分高但在目标验证器下得分低的解决方案的误报率从2.9%翻了三倍，达到8.0%。模型并没有学会更好的数学，而是学会了生成与验证器表面偏好相匹配的输出。

检测到的黑客攻击模式包括长度偏差（解决方案从3,500个字符膨胀到10,000个字符）、格式黑客攻击（出现标准化节标题如“步骤1”和“验证”），以及语义捷径，模型使用诸如“可以证明”之类的短语来跳过困难推理。团队构建了一个奖励黑客攻击检测仪表板，同时监控九种信号类型。

对于M3，解决方案是一套分层防御：过滤异常值以拒绝格式错误的候选者，格式标准化以减少风格漂移，以及跨多个模型和提示模式的悲观聚合。最终的奖励是所有评判者中的最低分，这意味着候选者需要获得一致同意才能得高分。团队指出：“降低误报比提高平均准确率更重要”，即使这意味着更多的漏报。how-maxproof-turns-generative-verifiers-into-a-proof-revolution-engine

MaxProof：测试时的进化搜索

MaxProof框架将测试时计算重新定义为一个引导式进化过程。它首先从M3集成模型中采样32个候选解决方案，每个方案经过多次验证。在每个进化轮次中，顶级候选者充当两种类型突变的父代：PATCH（根据验证器反馈进行局部修复）和REWRITE（从头开始尝试新方法）。子代获得一个“兄弟摘要”，即其他候选者尝试了什么以及失败在哪里的浓缩描述，作为额外上下文。

当至少有两个候选者在所有验证运行中达到完美裁决时，搜索提前终止，这条规则旨在防范验证器误报。然后，一个基于锦标赛的排名步骤通过成对比较和多数投票选择最终答案。

在报告的六个基准问题上，MaxProof的主要收益来自两个阶段。初始种群采样已经为某些问题捕获了高分解决方案，反映了M3的基础能力。迭代优化则进一步提升了目标最佳分数，特别是在初始样本未能命中的问题上。自选锦标赛偶尔会表现不如池中真正的最佳候选者，这表明最终选择机制仍有改进空间。

给该领域的启示

M3报告发布之际，多个实验室正朝着更强的数学推理能力迈进。DeepSeek-Math-V2证明了开源模型可以达到金牌能力。SU-01和NVIDIA的Nemotron Cascade2展示了更小的模型可以实现专门的竞赛级性能。GPT 5.5最近解决了困扰数学家多年的开放性问题。deepseek-v4-is-here-and-it-rewrites-the-rules-of-open-source-reasoning

M3方法的不同之处在于它明确将验证器视为整个系统的关键。团队来之不易的结论是，用于RL的生成式验证器必须为长期稳定性而设计，而非静态准确性，这一结论的影响超越了数学推理。任何语言模型评判自身输出的领域都面临奖励黑客攻击的相同脆弱性，而报告中的分层防御架构提供了一个实用模板。the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

下一个挑战是缩小与前沿实验室的差距。团队承认差距依然明显。目前，关于M2出了什么问题以及M3重建了什么，这份详细报告提供了更具启发性的案例研究之一，展示了如何使生成式验证器足够可靠以用于训练。