桌面AI代理的真正瓶颈不是模型，而是技能库

计算机使用代理，即通过交互执行软件任务的AI系统，通常以混淆任务难度和交互方式的方式进行评估。研究人员的一篇新论文引入了一个旨在厘清这些因素的基准测试。它在440项跨越18个应用程序和12个工作流类别的桌面任务中，针对相同的目标、初始状态和验证器，比较了纯屏幕GUI代理和基于技能的CLI代理。ifbench-the-new-benchmark-testing-ai-instruction-following

交互方式的受控比较

该研究的核心见解是，现有的评估将交互方式与任务、初始状态、验证器和允许操作的差异混为一谈。为了解决这个问题，研究人员构建了一个匹配的执行层基准测试。两种代理都接收相同的目标、状态和最终状态验证器，但每种代理仅限于其原生交互方式：GUI代理只能看到并点击屏幕；CLI代理只能通过预定义技能使用程序化命令接口。ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

该基准测试涵盖440项常见桌面应用任务，涵盖电子邮件管理、电子表格操作、文件组织、网页浏览和代码编辑等类别。每个任务都设计为在具备足够能力的前提下，通过两种交互方式同样可实现。

结果：GUI优于基线CLI

测试中最强的GUI代理实现了59.1%的完全通过率，击败了原始技能最强的CLI代理（48.2%）。这10.9个百分点的差距可能表明GUI交互本质上更适合桌面任务。但研究人员深入探究了CLI代理表现不佳的原因。

“我们测试的CLI代理受限于它们的技能库，即它们用于与软件交互的程序化命令集，”论文指出。“当我们使用检查最终状态的验证器增强这些技能时，CLI成功率跃升至69.3%，大幅超越GUI代理。”这一发现表明，CLI的大部分劣势来自技能覆盖不完整，而非模型的底层推理能力。opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

不同交互方式的不同瓶颈

该研究揭示了每种交互方式的独特执行瓶颈。GUI代理受限于长期工作流中的可靠接地交互。它们难以处理需要许多连续步骤的任务，其中小的感知误差会累积。CLI代理虽然每次操作更可靠，但受限于其技能接口的覆盖范围和可扩展性。没有适当的技能覆盖，它们根本无法尝试某些操作。ai-document-corruption-in-delegated-workflows-what-a-new-stress-test-reveals

“GUI代理必须学会在数十个步骤中点击正确的像素、滚动正确的量并准确读取屏幕文本，”研究人员写道。“CLI代理可以精确执行命令，但前提是它们拥有该特定操作的技能。瓶颈从感知接地转向了技能完整性。”

对AI代理设计的启示

这些结果对构建计算机使用代理的开发人员具有实际意义。技能增强（根据任务需求自动生成或检索技能）成为提升CLI代理性能的强大技术。研究中使用的验证器引导增强方法表明，即使是适度的技能扩展也能带来显著的收益。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

对于GUI代理，改进的途径在于更好的视觉接地、更长上下文的视频理解以及更稳健的错误恢复策略。在可用时结合GUI感知和CLI执行的混合方法可能提供两全其美的效果。

展望未来

基准测试本身（包含440项具有匹配GUI和CLI接口、初始状态和验证器的任务）已公开发布，以促进进一步研究。论文建议，未来的工作应探索自适应技能检索、屏幕信息与命令执行的多模态融合，以及需要在不同交互方式下操作的代理之间进行实时协作的任务。cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

随着计算机使用代理从研究实验室走向生产系统，理解交互方式之间的权衡变得至关重要。这项研究为做出这些设计决策提供了一个受控的、基于证据的框架。