Des robots qui s'adaptent sans réentraînement ? Ce nouveau framework pourrait bien y parvenir

Les modèles Vision-Language-Action (VLA) modernes sont essentiels au contrôle robotique, mais ils se dégradent rapidement lorsque l'environnement change. Un nouvel article de l'équipe OpenMOSS, publié sur arXiv le 24 juin 2026, propose une solution : In-Context World Modeling (ICWM). Le framework repense la manière dont les robots s'adaptent aux changements d'angles de caméra, de types de corps robotiques ou d'autres variables spécifiques au système, sans nécessiter de fine-tuning coûteux ni de mises à jour de paramètres. lerobot-v060-imagining-the-future-without-paying-for-it-at-inference

Le problème des modèles VLA standard

Les modèles VLA classiques traitent les entrées visuelles et une instruction langagière pour générer des commandes motrices. Mais ils ne tiennent pas explicitement compte de la configuration sous-jacente du système, comme la position de la caméra, la longueur du bras ou le type de pince. Cela signifie que le modèle suppose implicitement qu'il opère dans le même contexte que celui vu lors de l'entraînement. Lorsque le robot arrive dans une nouvelle configuration, les performances chutent. Les ingénieurs doivent alors collecter de nouvelles données et réentraîner le modèle, un processus que l'article qualifie de gourmand en données et lent. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

Adaptation in-context, pas de fine-tuning

ICWM reformule l'identification système comme un problème d'adaptation in-context. Au lieu de s'appuyer sur des démonstrations statiques qui indiquent au modèle quelle tâche effectuer, comme dans l'apprentissage in-context traditionnel, ICWM utilise un court historique d'interactions auto-générées et indépendantes de la tâche pour apprendre au modèle comment le système fonctionne.

« Contrairement à l'apprentissage in-context traditionnel qui utilise des démonstrations pour spécifier quelle tâche effectuer, ICWM exploite la fenêtre de contexte pour comprendre comment le système opère. »

Le robot exécute d'abord une brève séquence de mouvements aléatoires ou exploratoires, agitant un bras, faisant pivoter une articulation, avançant, complètement indépendante de toute tâche. Ces interactions sont fournies à la politique basée sur un transformeur en tant que contexte supplémentaire avant l'instruction de tâche réelle. En traitant ces données auto-générées, le modèle apprend implicitement la dynamique du monde du système actuel, des intrinsèques de la caméra à la cinématique du bras, en passant par les propriétés inertielles du robot. jet-longs-bifocal-attention-is-forcing-a-rethink-of-long-context-efficiency-trade-offs

Résultats : surpasser les références sur des points de vue inédits

L'équipe a testé ICWM en simulation et sur des robots réels. Dans les environnements simulés, ICWM a nettement surpassé les références VLA standard lorsque les points de vue de la caméra changeaient. L'amélioration s'est maintenue sur plusieurs germes aléatoires et configurations environnementales, suggérant que la méthode capture de véritables invariants au niveau du système plutôt que de mémoriser des motifs fixes. Les expériences réelles ont confirmé la tendance : les robots utilisant ICWM ont réussi des tâches de préhension et de navigation sous des positions de caméra décalées là où les modèles de référence échouaient complètement.

L'article ne rapporte pas de taux de réussite exacts ni d'intervalles de confiance statistiques dans le résumé. Mais il souligne qu'ICWM ne nécessite aucune mise à jour de paramètres après la courte phase d'interaction pré-tâche. Cela seul pourrait le rendre attrayant pour les équipes souhaitant déployer le même modèle sur différents matériels robotiques ou s'adapter rapidement à des configurations de laboratoire changeantes.

Contexte plus large et travaux futurs

Ces travaux arrivent alors que la communauté de recherche en robotique cherche des moyens de rendre les grands modèles fondamentaux pratiques pour un déploiement dans le monde réel. La plupart des approches actuelles exigent un fine-tuning intensif spécifique au domaine ou reposent sur des simulateurs haute-fidélité qui ne se transfèrent pas toujours proprement au matériel physique. ICWM offre une alternative plus légère : une brève phase d'interaction et une fenêtre de contexte suffisamment grande pour contenir à la fois l'historique du système et l'instruction de tâche. recursivemas-scaling-multi-agent-collaboration-through-latent-space-recursion

Les auteurs notent que le framework suppose actuellement une morphologie robotique fixe pendant les phases d'interaction et de tâche, si le corps du robot change en cours de tâche, le modèle aurait besoin d'une nouvelle exécution d'adaptation. Étendre ICWM pour gérer une identification système continue ou dynamique reste une direction ouverte. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

Disponibilité

L'article est sur arXiv sous le titre In-Context World Modeling for Robotic Control (arXiv:2606.12345). Le code et des ressources supplémentaires sont attendus des dépôts de l'équipe OpenMOSS, bien qu'aucun lien officiel n'ait été fourni au moment de la soumission.

L'article a reçu 42 votes positifs sur Hugging Face au moment de la publication, signalant un fort intérêt de la communauté pour cette approche d'adaptation in-context en robotique.