Fast-LeWM: Predicción Paralela de Prefijos de Acción Reduce los Costos de Planificación en Modelos de Mundo Latentes

Las Arquitecturas Predictivas de Incrustación Conjunta (JEPAs), incluido el reciente LeWorldModel (LeWM), han sido aclamadas como una ruta prometedora para modelos de mundo visuales sin reconstrucción. Pero cuando se trata de planificación visual, han encontrado un obstáculo. El problema: LeWM evalúa secuencias de acción candidatas aplicando repetidamente un modelo de transición latente local de un solo paso de manera autoregresiva. Esa generación es costosa y, a medida que el horizonte se alarga, los errores se acumulan rápidamente.

En un nuevo artículo titulado Fast LeWorldModel, los investigadores describen una solución. En lugar de generar predicciones paso a paso, Fast-LeWM predice el resultado de prefijos de acción completos de una sola vez. La idea: codificar los prefijos de una secuencia de acción candidata y predecir todos los estados latentes futuros alcanzados después de ejecutar esos prefijos en paralelo.

Cómo Funciona Fast-LeWM

Dado el estado latente actual y una secuencia de acción candidata, Fast-LeWM codifica sus prefijos, las primeras acciones, y predice los estados latentes futuros que se alcanzarían después de ejecutar esos prefijos. Al hacer de los prefijos de acción la unidad básica de predicción, el modelo aprende directamente los efectos acumulados de las acciones en múltiples horizontes, en lugar de ajustar solo transiciones de estado de un solo paso.

Durante la planificación, el predictor puede usar el último token de prefijo de la secuencia de acción codificada para evaluar el futuro latente correspondiente sin pasar explícitamente por cada estado intermedio imaginado. Este diseño elimina el cuello de botella autoregresivo y reduce la exposición a la acumulación de errores que afecta las predicciones de largo horizonte.

Ganancias de Rendimiento

En múltiples tareas, Fast-LeWM mejora las tasas de éxito promedio sobre LeWM, al tiempo que reduce sustancialmente el tiempo de planificación. El método logra una pérdida latente de bucle abierto más baja, cuyo crecimiento se vuelve significativamente más lento a medida que aumenta el horizonte de generación. Esto sugiere que la supervisión a nivel de prefijo obliga al modelo a aprender cómo los estados evolucionan continuamente bajo diferentes prefijos de acción, en lugar de solo ajustar transiciones de un solo paso.

Los autores informan que Fast-LeWM mantiene las ventajas de las JEPAs sin reconstrucción, al tiempo que supera su principal limitación para la planificación: el costo computacional de las generaciones autoregresivas. Al paralelizar la predicción, el método abre la puerta a la planificación visual en tiempo real en robótica, navegación autónoma y otros dominios que requieren una toma de decisiones rápida en horizontes largos.

Implicaciones para los Modelos de Mundo Visuales

El trabajo representa un avance práctico para hacer que los modelos de mundo latentes sean más eficientes para la planificación. Si bien las JEPAs han mostrado un rendimiento sólido en el aprendizaje de representaciones y el modelado sin reconstrucción, su uso en planificación se ha visto limitado por la naturaleza secuencial de los modelos de transición latentes. Fast-LeWM aborda esta brecha con un cambio arquitectónico simple pero efectivo.

El trabajo futuro podría explorar la extensión del enfoque a espacios de acción continuos o su integración con algoritmos de aprendizaje por refuerzo basados en modelos. El artículo también sugiere que el paradigma de predicción de prefijos podría aplicarse a otros componentes autoregresivos en modelos de mundo más allá de la planificación visual.