你的AI代理意外通过了测试。现在有了评估标准。

随着LLM代理从玩具演示转向实际生产工作流，它们完成什么与完成之间的差距正变成一个严重的盲点。2026年7月发表在arXiv上的一篇新论文介绍了SkillCoach，该框架着眼于代理技能使用背后的过程，而不仅仅是最终答案。 ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

任何看过代理在记录了大量技能的库中笨拙摸索的人都知道这个问题。它可能通过蛮力试错找到正确答案。它可能碰巧抓住了某个偶然有效的干扰技能。它可能跳过必要的中间步骤或忘记最后的验证检查。传统验证器只检查最终输出，会自动将这些轨迹标记为成功。但这些显然不是你希望在生产系统中获得的那种可靠、可审计的行为。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

过程质量的四个维度

SkillCoach从真实的代理运行中构建基于技能的过程评估标准，并沿着四个维度衡量每条轨迹：

• 技能选择：代理是否为该步骤选择了正确的技能？
• 技能遵循：代理是否正确执行了所选技能？
• 技能组合：代理是否以正确的顺序组合了技能？
• 基于技能的反思：代理是否根据技能的预期结果验证了自己的输出？

通过将外部验证器作为独立的结果信号，SkillCoach能够区分干净、可重复的执行与偶然的成功。评估标准是自我进化的，这意味着随着收集到更多轨迹，它们会随着时间的推移而改进，并适应特定的技能库和领域。

揭示隐藏的失败

论文的实验表明，进化的评估标准显著提高了评估质量，揭示出仅靠最终准确率会遗漏的失败。以一个代理选择了干扰技能为例，该技能恰好通过一条不同的、非预期的路径产生了正确答案。最终验证器会通过它，但SkillCoach会在技能选择上判定它失败。

这种粒度对于训练甚至更为重要。仅依赖结果的过滤, , 只选择最终成功的轨迹, , 可能会无意中强化糟糕的过程习惯。SkillCoach转而使用进化的评估标准作为过程监督，挑选出在每个步骤中都显示正确技能使用的高质量训练轨迹。作者报告称，与仅依赖结果的过滤相比，这种信号在改进代理技能使用方面要强得多。 opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

对生产代理的影响

这项研究的时机与业界更广泛的推动力相吻合，即朝着需要可审计、可靠的代理工作流方向发展。随着公司部署代理来处理标准操作程序、领域规则、工具工作流和验证例程，评估不仅结果而且推理过程质量的能力对于合规性、安全性和信任变得至关重要。 tcs-and-anthropic-partner-to-bring-claude-to-regulated-industries

SkillCoach指向了一个未来：代理评估将像代码审查一样严格，每个技能选择和组合步骤都会受到仔细审查，而不仅仅是最终答案。该研究目前作为预印本在arXiv上提供，代码和数据预计将通过链接的仓库发布。 the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java