沙盒基准测试掩盖了智能体的真实失败原因，港大刚刚解决了这个问题

对 AI 智能体进行基准测试存在一个隐蔽的欺骗性。大多数评估在沙盒环境中进行，这些环境如同精心修剪的花园，智能体无需安装软件包、解读模糊的屏幕截图，或从意外的服务器重启中恢复。结果就是一幅美好的画面：智能体得分很高，但一旦接触到未经脚本编排的操作系统，立刻就失败。

香港大学的研究人员表示，这种不匹配不仅仅是一个方法论上的麻烦。它实际上误导了开发方向。他们的新基准测试 UniClawBench 旨在拆除沙盒壁垒，在智能体真正失效的地方, , 真实的、实时的 Docker 容器中, , 进行测试，执行 400 个跨越五种基本能力的双语任务。 the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

五种能力，而非五十种场景

现有的基准测试通常采用基于场景的分类法：网页浏览、日程安排、文件编辑。根据该团队的说法，问题在于每个场景依赖于多种重叠的模型技能。当智能体失败时，根因是长上下文推理薄弱、多模态理解能力差，还是工具使用能力不足，往往难以判断。

UniClawBench 通过围绕恰好五种能力构建其 400 个任务来规避这一问题：技能使用、探索、长上下文推理、多模态理解和跨平台协调。每个任务主要测试一种能力，尽量减少技能混杂。这使得失败分析能够精准定位模型中的确切薄弱环节。 jet-longs-bifocal-attention-is-forcing-a-rethink-of-long-context-efficiency-trade-offs viq-bridging-the-gap-between-semantics-and-detail-in-visual-quantized-representations

在真实机器上评估

UniClawBench 与以往工作最大的不同在于执行方式。它不是在静态数据集上对预录的答案进行评分，而是将智能体部署到实时 Docker 容器中。智能体必须与实际的文​​件系统、网络和应用 API 进行交互。一切都是真实的。完成度通过一个隐藏监督智能体实时监控的细粒度、逐步检查点来衡量。

“这就像在封闭赛道和城市街道上考驾照的区别，”论文指出。“智能体必须处理意外状态、缺失的依赖项以及任何预录答案都无法捕捉的系统响应。”

包含三种角色的闭环

评估主动型智能体（即那些主动发起行动而不仅仅是响应查询的智能体）最困难的问题之一，是在不泄露正确答案的情况下模拟人类反馈。港大的解决方案是一个三角色评估循环：一个执行智能体，即被测模型；一个用户智能体，扮演请求任务的人类角色；以及一个隐藏监督智能体，检查中间检查点并提供渐进式反馈。

用户智能体被故意设计成可能出错。它可能会提出澄清问题，中途改变主意，或忽略不完整的结果。这迫使执行智能体动态管理多轮交互。关键是，监督智能体从不透露未来的检查点。它只确认或否认当前检查点的进度，从而防止答案泄露。 the-ai-agent-that-remembers-you-why-vitabench-20-reveals-a-chasm-between-good-chatbots-and-good-collaborators

模型与框架的分离

UniClawBench 的一个核心贡献是其因子设计：每个最先进的模型都在多个智能体框架下进行评估。该基准测试可以将性能分解为模型的原始能力得分和框架的编排效率。早期结果（在预印本中未详细说明）显示，弱框架中的强模型可能被智能框架中的弱模型超越。这一发现对模型训练和系统设计都有直接启示。

五种能力的结构也揭示了模型内部令人惊讶的不对称性。一个在长上下文推理方面表现出色的模型，可能在跨平台协调上表现糟糕，尽管这些任务在传统基准测试中都属于同一个“网页智能体”场景。这些不对称性正是开发团队需要针对优化努力的那种信号。 gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

对智能体生态系统的影响

对于构建智能体产品的初创公司来说，UniClawBench 提供的是一个诊断工具，而非排行榜。它回答的不仅是“哪个智能体最好”，还有“对于每个模型-框架组合，哪个能力是瓶颈”。对于研究界来说，该基准测试提供了一个共同的基础，不仅可以比较最终得分，还可以比较五个维度上的失败模式。

该基准测试已与代码一起开源发布，任务涵盖中文和英文。港大团队强调，UniClawBench 设计为可演进的。可以添加新的任务和能力，而无需更改评估基础设施，使其成为一个适用于快速变化领域的活基准测试。