ARC-AGI-2：衡量AI系统流体智能的基准测试

抽象与推理语料库（现已进入第二代）并非普通基准测试。与MMLU或GPQA Diamond等依赖知识检索的测试不同，ARC-AGI-2旨在精确衡量一种特定的认知能力：流体智能。该术语源自雷蒙德·卡特尔（Raymond Cattell）的心理学框架，指的是在面对新颖问题时即时推理、在不确定性下识别模式的能力。与之对应的晶体智能，则是人或模型长期积累的事实知识。大多数大语言模型基准测试奖励后者，而ARC-AGI-2则被设计为奖励前者。

ARC-AGI-2的工作原理

每个任务提供若干输入/输出网格对（通常为2到4个），以及一个新的测试输入。模型必须推断出将每个输入映射到其输出的转换规则，然后将其应用于测试网格。网格中的单元格为0到9的整数，映射到一个固定的十色调色板（纯装饰用途）。难度在于结构本身，而非颜色。

该格式故意设计为小样本学习。仅凭两三个样例，通常不足以通过模式匹配来唯一确定规则。为了生成正确的输出，模型必须提出假设，对照演示对验证每个假设，在假设失败时进行修正，并最终确定在所有样例中都成立的规则。这些规则并非来自任何公开的分类体系；每个谜题都是独立的问题。

为何采用视觉网格？

视觉网格的选择是该基准测试设计的核心。MMLU和GPQA Diamond等知识类基准测试奖励的是模型在训练期间多次见过的事实检索能力。ARC-AGI-2则刻意避免这种情况。一个从未在教科书中出现过的网格变换规则，使得该基准能够有效区分真正的模式归纳与记忆化解法。它所瞄准的能力, , 流体智能, , 更难以伪造，因为预训练在从未见过的问题上无法提供优势。

人类基线水平及大奖门槛

这里有两项人类基线数据值得关注。ARC-AGI-2校准研究（于2025年重新设计期间进行）招募了数百名人类参与者。评估集中的每个任务至少有两名人类参与者在两次尝试或更少次数内解决，实现了100%的小组完成率。根据GitHub仓库中的报告，个人平均表现为66%。大奖门槛则更高：在Kaggle的计算及运行效率限制内，于私有测试集上取得高于85%的分数，方可获得2026年ARC大奖的70万美元奖金。这一目标在2024年和2025年的竞赛年份中均未达成。

当前排行榜（2026年4月）

根据BenchLM追踪的基准测试数据，ARC-AGI-2排名前十的模型如下：

1. GPT-5.5，85（推理模式）
2. GPT-5.4 Pro，83.3（推理模式）
3. Gemini 3.1 Pro，77.1（非推理模式）
4. Claude Opus 4.7（自适应），75.8（推理模式）
5. GPT-5.4，73.3（推理模式）
6. Claude Opus 4.6，68.8（非推理模式）
7. Claude Sonnet 4.6，59（非推理模式）
8. GPT-5.2 Pro，54.2（推理模式）
9. Grok 4.20，53.3（推理模式）
10. GPT-5.2，52.9（推理模式）

分数差距显著：最高分85，第十名52.9，而DeepSeek V3.2得分4，o3得分3。在人类平均分为66%的情况下，ARC-AGI-2在高低两端均未出现压缩现象，它为推理模型的能力谱系提供了真正的区分度。

推理模型表现突出的原因

前五名中有四个使用了明确的推理配置。其机制直观：ARC谜题受益于迭代的假设检验过程, , 生成候选规则，对照演示对进行验证，失败时修正，最终确定一个在所有样例中都成立的规则。这一循环正是思维链框架所支持的。代价是更长的延迟和更高的单任务成本，但性能提升相当显著。

ARC-AGI-2能衡量什么，不能衡量什么

ARC-AGI-2与以下能力的表现相关：在新领域中的自主任务执行、模糊的编码任务以及无法通过信息检索解决的推理问题。但它不预测：知识召回能力（MMLU， GPQA）、指令遵循准确性（IFEval）、对话质量（Arena Elo）或多语言推理能力（MGSM）。一个模型可能在ARC-AGI-2上得75分而在HLE上得60分，表明其流体智能强但知识储备薄弱；反之亦然。没有单一测试能覆盖所有能力。

名称中的“AGI”反映了弗朗索瓦·肖莱（François Chollet）的假设：流体智能是通用人工智能缺失的关键部分。这一假设是否正确仍是一个待解决的经验性问题，但ARC-AGI-2旨在以异常严谨的方式衡量向该目标取得的进展。