OPID为语言智能体提供密集奖励信号，告别外部记忆依赖

研究团队提出了OPID（在线策略技能蒸馏，On-Policy Skill Distillation）框架，旨在解决基于结果的强化学习中语言智能体面临的一个持续性问题：轨迹级奖励的稀疏性。通过从完成的在线策略轨迹中直接提取密集的令牌级监督，该框架提供了中间决策指导，且无需外部技能记忆或检索特权上下文。研究人员指出，这些替代方案维护成本高昂，且在多轮交互中常常与状态分布脱节。why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

该论文于2026年6月25日提交至arXiv，归类于计算与语言领域。论文将轨迹回顾视为分层技能。回合级技能捕捉全局工作流或避免失败的规则，而步骤级技能则在关键时间步捕捉局部决策知识。一种关键优先路由机制决定何时应用步骤级指导，并默认回退至回合级技能。ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

核心机制

该架构保留了强化学习作为主要训练目标，但在此基础上叠加了密集的、与分布匹配的回顾监督。选中的技能被注入交互历史，使得旧策略能够在原始上下文和技能增强上下文下对同一采样响应重新评分。由此产生的对数概率偏移形成令牌级自蒸馏优势，随后与结果优势相结合以优化策略。

这规避了现有技能条件变体的缺点。后者通常需要构建和更新外部技能记忆，这一计算密集型过程可能生成与当前策略状态分布不一致的技能，尤其是在多轮智能体任务中。OPID则从在线策略数据中提取技能，使其保持相关性并降低开销。the-migration-isnt-finished-until-the-build-server-says-it-is-why-ai-agents-keep-failing-at-enterprise-java

基准测试表现

团队在三个基准上对OPID进行了测试：ALFWorld（具身智能体任务）、WebShop（在线购物）和Search-based QA（信息检索）。在每个领域，该框架的表现均优于仅依赖结果的强化学习和现有技能蒸馏基线，包括那些依赖外部技能库的方法。gui-agents-beat-cli-in-desktop-tasks-but-skill-coverage-holds-the-key

关键结果显示，在最终性能和样本效率上均有提升。该工作还指出了更强的鲁棒性，表明分层回顾监督有助于智能体在多个回合中更好地泛化。代码已在GitHub上公开，地址为 https://github.com/jinyangwu/OPID/tree/main。

对智能体人工智能的影响

该成果发布之际，AI研究界正聚焦于训练能够与环境进行多轮交互的语言智能体。强化学习提供了稳定的优化基础，但奖励信号的稀缺性, , 通常每个轨迹只有一个结果奖励, , 长期以来一直是一个瓶颈。fast-lewm-parallel-action-prefix-prediction-slashes-latent-world-model-planning-costs

通过从在线策略轨迹中提取密集监督且无需外部记忆，OPID提供了一种实用且可扩展的解决方案。该方法自然适用于那些中间决策决定最终成败的智能体任务，例如网页导航、工具使用或多步推理。cuga-ibms-open-source-agent-harness-lets-you-build-apps-with-just-a-prompt-and-tool-list

研究人员计划将OPID扩展到更复杂的环境中，并正在探索以无监督方式学习分层技能表示的方法，以实现更广泛的应用。