IFBench：测试AI指令遵循能力的新基准

AI模型的任务不仅仅是生成一个合理的答案，它还必须精确地遵循指令。这听起来简单，但实际上非常困难。想象一下，用户想要一个三句话的摘要、一个语气随意的改写，或者一个包含某个词而避免另一个词的答案, , 而且往往是同时提出这些要求。模型可能完美理解主题，却仍可能在执行具体要求上出错。

已被NeurIPS 2025接收的IFBench，用于测试语言模型遵循这类精确自然语言指令的能力。去年，独立的AI基准测试组织Artificial Analysis将IFBench纳入其智能指数（Intelligence Index），该指数综合多项评估得出单一评分，用以衡量模型的整体能力。

"我们发现模型遵循用户指令的能力是开发者非常关注的一点，因此我们希望明确评估这一点，"Artificial Analysis的技术团队成员Declan Jackson表示。"IFBench正是为了填补这一空白而设计，即使对前沿模型而言也颇具挑战性。"

衡量对提示的遵循程度

IFBench不仅仅测试基本的指令遵循，它迫使模型同时处理多条规则。有些规则很直接，比如最低字数要求或必须包含的关键词。其他规则则更棘手：句子长度必须一致，连续单词不能以相同字母开头，或者关键词必须出现在精确的位置。

"这与许多其他基准不同，在其他基准中，指令遵循能力仅通过输出模板或要求的答案结构间接体现，"Jackson说。

每个约束条件本身可能看起来是任意的。但放在一起，它们反映了非常常见的场景：用户经常同时向模型提出多个要求，遗漏任何一个都可能导致回答不理想。为了使IFBench贴近实际使用，其提示来自真实的用户对话，而非研究人员从头编写。

"IFBench以比早期指令遵循评估更贴近实际使用的方式衡量指令遵循能力，"Jackson说。"提示使用随意的、类似用户的语言，涵盖广泛的语气和长度而非遵循固定模板，并聚焦于常见任务，如事实问答、内容审核与总结以及创意支持。IFBench更广泛的覆盖面也使其成为指令遵循能力一个更强的总体信号。"

IFBench揭示了其他基准忽略的信息

AI基准测试的保质期通常很短。一旦模型得分接近顶端，这些评估就不再能有效区分不同系统。Jackson表示，Artificial Analysis智能指数中大多数评估在大约六个月内就会饱和。

但IFBench没有。

"虽然IFBench的分数随时间有所提高，但进展在不同模型之间并不均匀，新的前沿模型仍然不总能表现出色，"Jackson说。

这归因于几个因素。

第一：复杂的指令遵循与大多数实验室正在积极训练的内容重叠度不高，Jackson说。编码和工具使用获得了大量的后训练投入，因为这些方面的进步往往能泛化到其他任务和基准。指令遵循则更为狭窄，很少作为其他领域进展的附带结果而得到改善。

第二是IFBench衡量的广泛性。其广泛的约束条件和提示集意味着进步相对较慢，相比之下，针对特定领域或能力的评估，实验室可以通过精确定位的后训练方法逐步改进。

这体现在数字上。Jackson说，IFBench分数按模型系列显著聚集，排名与Artificial Analysis更广泛的智能指数并不一致。

xAI在IFBench上仍然领先。Grok 4.20 (0309, Reasoning)以82.9%的成绩位居榜首，Grok 4.3紧随其后，达到81.3%。最近的Google模型也表现出色：Gemini 3 Flash Preview (Reasoning)达到78.0%，而Gemini 3.1 Flash-Lite Preview和Gemini 3.1 Pro Preview分别达到77.2%和77.1%。OpenAI的GPT-5.5 (xhigh)和GPT-5.4 (xhigh)以75.9%和73.9%紧随其后。领先的Claude模型在IFBench上得分较低：Claude Opus 4.7、Claude Sonnet 4.6和Claude 4.5 Haiku得分在54.3%到58.6%之间，尽管Claude Opus 4.7在智能指数中以57分排名靠前，落后于GPT-5.5 (xhigh)的60分，并与同为57分的Gemini 3.1 Pro Preview和GPT-5.4 (xhigh)基本持平。

真正开放的评估方法

IFBench对Artificial Analysis有用有两个原因：它衡量的内容，以及它是公开发布的。

开放性让Jackson的团队能够忠实地实施评估，并在广泛的模型上运行，为其用户依赖的排行榜提供数据。这也使得基准测试本身更容易理解，因为任何人都可以看到衡量了什么以及为什么。

对于Artificial Analysis来说，IFBench测试了几乎每次AI交互中都会出现的能力：模型是否能跟踪用户的请求，特别是当请求包含很多要求时。它现在已成为Artificial Analysis评估的常规部分，也是Ai2的开放基准测试为该领域带来贡献的有力例证。

"除了评估之外，Ai2在开源领域是重要的领导者，"Jackson说。"他们的工作不仅通过开放研究推动行业发展，还让用户能够访问具有数据和方珐透明度的研究工具。"