Fast-LeWM：并行动作前缀预测大幅降低潜在世界模型规划成本

联合嵌入预测架构（JEPAs），包括最新的LeWorldModel（LeWM），一直被视为有望实现无重建视觉世界模型的途径。但在视觉规划方面，它们却遇到了瓶颈。问题在于：LeWM通过反复以自回归方式应用局部单步潜在转移模型来评估候选动作序列。这种展开成本高昂，而且随着规划时域延长，误差会迅速累积。

在一篇题为《Fast LeWorldModel》的新论文中，研究人员描述了一种解决方案。Fast-LeWM并非逐步展开预测，而是一次性预测整个动作前缀的结果。其思路是：对候选动作序列的前缀进行编码，并并行预测执行这些前缀后将达到的所有未来潜在状态。

Fast-LeWM的工作原理

给定当前潜在状态和候选动作序列，Fast-LeWM对其前缀（即前几个动作）进行编码，并预测执行这些前缀后将达到的未来潜在状态。通过将动作前缀作为基本预测单元，该模型直接学习动作在多个时域上的累积效果，而不是仅拟合单步状态转移。

在规划过程中，预测器可以使用编码动作序列中的最后一个前缀标记来评估相应的未来潜在状态，而无需显式地逐一展开每个中间想象状态。这种设计消除了自回归瓶颈，并减少了在长时域预测中困扰模型的误差累积风险。

性能提升

在多个任务中，Fast-LeWM相比LeWM提高了平均成功率，同时大幅减少了规划时间。该方法实现了更低的开环潜在损失，且其增长随着展开时域的增加而显著减慢。这表明，前缀级监督迫使模型学习状态在不同动作前缀下的连续演化方式，而不仅仅是拟合单步转移。

作者报告称，Fast-LeWM保持了JEPAs无重建的优势，同时克服了其在规划方面的主要限制：自回归展开的计算成本。通过并行化预测，该方法为机器人技术、自主导航及其他需要快速决策的长时域领域的实时视觉规划打开了大门。

对视觉世界模型的启示

这项工作是使潜在世界模型更高效地进行规划的实际进展。虽然JEPAs在表示学习和无重建建模方面表现出了强大的性能，但由于潜在转移模型的顺序性，它们在规划中的应用一直受到限制。Fast-LeWM通过一个简单但有效的架构变化弥补了这一差距。

未来的工作可以探索将该方法扩展到连续动作空间，或将其与基于模型的强化学习算法集成。该论文还表明，前缀预测范式可以应用于世界模型中除视觉规划之外的其他自回归组件。