牛津大学GauntletBench测试AI代理执行100个真实任务，它们失败了81%

随着AI代理越来越多地进入现实世界环境，进行严格测试的需求比以往任何时候都更加紧迫。牛津大学的研究人员推出了GauntletBench，这是一个旨在绕过AI代理评估领域已显现的疲劳感的新基准。它专注于五个专业应用中三种被低估的能力, , 时间感知、图形理解和3D推理，而现有的评估套件在很大程度上忽略了这些方面。ifbench-the-new-benchmark-testing-ai-instruction-following

该基准测试已发表在arXiv上，并托管在HuggingFace上，它通过100个视觉密集型任务来考验AI代理，这些任务分为五类：视频编辑器、工作流构建器、3D建模器、飞行分析器和电路设计器。每个类别都模拟了一个受控的Web环境，代理可以在此环境中点击、输入和导航。这个模块化流水线支持开源和闭源代理框架。gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

对代理系统的现实检验

表现最佳的代理基于一个前沿的大型语言模型，在所有任务中仅取得了19.1%的成功率。非专业的人类标注员以超过80%的准确率完成了相同的任务，论文描述这对人类来说是“具有挑战性但可行的”。研究人员认为，这一差距源于大多数现有基准测试的狭隘关注点。许多当前测试集中于日常消费类应用、购物、旅行预订或文本密集型任务，这些任务发挥了语言模型的优势。GauntletBench故意避开了这些老路。其任务要求代理通过视觉界面处理动态视频时间线、解读二维图表、操作3D对象、分析飞行路径以及推理电路原理图。the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

三个关键能力差距

GauntletBench突出了代理反复失败的三个具体领域：

• 时间感知：当代理需要随时间追踪事件时, , 例如调整视频编辑时间线或监控一系列工作流步骤, , 它们会出错。这些失败表明，除了简单的序列预测之外，缺乏鲁棒的时间推理能力。
• 图形理解：涉及读取和操作二维视觉表示, , 流程图、电路图、布局网格, , 的任务被证明是不稳定的。代理经常误读空间关系，或者未能将视觉元素映射到它们的功能角色。
• 3D推理：在3D建模器应用中，代理在旋转对象、理解深度和执行精确空间操作方面遇到困难。这反映了更广泛的发现，即多模态模型仍然缺乏可靠的3D理解能力。hugging-face-daily-papers-a-surge-in-multimodal-and-vision-language-research

这些结果与该领域关于当前多模态AI系统局限性的讨论相吻合。虽然大型语言模型在基于文本的推理方面表现出色，但它们理解和作用于视觉及时间信号的能力仍然很脆弱。

结构及可扩展性

GauntletBench被构建为一个模块化流水线，包含四个组件：与基于Web的应用交互的环境层；模拟五个专业工具的受控应用层；由模板生成、每个应用20个任务的任务套件；以及使用精确匹配和部分匹配标准计算成功率的自动评估引擎。这种设计允许研究人员在不重建流水线的情况下添加新应用或任务变体。

“即使是最先进的代理在我们的GauntletBench上也只取得了19.1%的成功率，突显了这些被忽视的能力和泛化能力方面的局限性，”作者在论文中写道。

选择视频编辑、工作流自动化、3D建模、飞行分析和电路设计这些专业应用是刻意的。这些领域需要与复杂的视觉界面进行精确的多步骤交互，并且在之前的代理基准测试中代表性不足，研究界已指出这些基准测试已经饱和。llms-corrupt-your-documents-when-you-delegate-a-close-look-at-the-delegate-52-benchmark

对代理设计的意义

代理与人类表现之间超过60个百分点的巨大差距表明，当前代理架构、训练或提示的方法不足以处理复杂的视觉-时间任务。该论文呼吁重新关注开发能够在陌生应用和模态之间进行泛化的代理。该基准测试没有规定具体的架构更改，但它提供了详细的失败分析。代理在具有清晰视觉反馈的任务上表现更好, , 例如成功操作后的颜色变化, , 而在需要延迟推理的任务上，例如预测多步编辑序列的结果，则表现较差。

牛津大学的贡献正值AI研究界更加严格审视基准测试设计的时候。最近的几篇论文已指出基准测试污染、任务过度简化和任务同质性是阻碍有意义的代理评估的障碍。GauntletBench通过引入新颖的任务类型和高难度场景，直接瞄准了这些问题。ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

该基准测试已在HuggingFace上引起关注，相关论文获得了15个赞和来自社区的积极反馈。研究人员计划在未来版本中将GauntletBench扩展到包含更多应用和更长时间跨度的任务。

对于代理开发者来说，信息很明确：问题的简单部分已经解决。剩下的挑战, , 时间、图形和空间推理, , 需要全新的方法，才能使AI代理在现实世界中可靠地运行。