LeRobot v0.6.0 imagine le futur pendant l’entraînement, puis rend l’inférence gratuite

La tension centrale dans l’apprentissage robotique a toujours été l’écart entre ce qu’une politique voit et ce qu’elle doit prédire. Un robot saisissant une tasse n’a pas seulement besoin de connaître les angles articulaires actuels. Il doit anticiper où sera la tasse au moment où ses doigts se ferment. Les approches traditionnelles ignorent entièrement ce futur (clonage comportemental) ou le simulent à un coût de calcul paralysant (contrôle prédictif par modèle avec génération vidéo). the-math-says-general-ai-is-a-myth-biology-markets-and-machine-learning-all-agree

Modèles de monde qui s’entraînent dur, infèrent léger

LeRobot v0.6.0 attaque ce compromis de front avec trois politiques de modèle de monde qui apprennent à imaginer le futur pendant l’entraînement mais abandonnent cette imagination à l’inférence. La conception la plus frappante est VLA-JEPA, qui associe un VLA compact basé sur Qwen3-VL-2B à un modèle de monde JEPA qui doit anticiper les images à venir à partir des propres actions du modèle. Comme le modèle de monde disparaît à l’inférence, la politique bénéficie de la conscience du futur pendant l’entraînement sans coût d’exécution supplémentaire. Trois checkpoints prêts à l’emploi sont disponibles sur le Hub, y compris une base pré-entraînée sur DROID pour le fine-tuning. alibabas-qwen-readies-its-next-leap-a-35b-agent-world-model-and-the-quiet-expansion-of-the-qwen3-family

LingBot-VA emprunte une voie différente : un modèle vidéo-action autorégressif qui prédit la vidéo et les actions futures ensemble, morceau par morceau, en utilisant des observations réelles pour garder son imagination ancrée. Les utilisateurs peuvent même enregistrer ce que le robot a imaginé et le comparer avec les résultats réels. Le modèle fonctionne sur un seul GPU de 24 à 32 Go. FastWAM, quant à lui, associe un expert en génération vidéo d’environ 5B à un expert d’action compact dans un seul réseau. Il apprend à rêver ses propres déploiements avant de sauter le rêve à l’inférence. how-nvidias-gr00t-17-cuts-the-distance-between-teleoperation-and-real-world-robot-learning

Le zoo VLA accueille cinq nouveaux résidents

La version livre également une vague de nouveaux modèles vision-langage-action, reflétant le rythme accéléré de la recherche VLA. L’intégration GR00T de NVIDIA passe à N1.7, remplaçant le précédent VLM par Cosmos-Reason2-2B avec une implémentation testée pour la parité avec Isaac-GR00T. MolmoAct2 de l’Allen Institute for AI est désormais entièrement pris en charge avec fine-tuning, évaluation et déploiement sur robot réel, nécessitant seulement environ 12 Go en bf16. EO-1, contribué par l’un de ses propres auteurs, apporte un backbone Qwen2.5-VL-3B avec flow-matching. Le Multitask Diffusion Transformer permet à un seul modèle d’environ 450M paramètres d’apprendre de nombreuses tâches conditionnées par le langage naturel. EVO1 embarque une conception InternVL3-1B de 0,77B paramètres pour des budgets GPU modestes. the-specialization-revolution-how-smaller-models-are-redefining-ais-future

Modèles de récompense : enfin savoir quand le robot réussit

La détection de succès a longtemps été un élément manquant dans la boucle d’apprentissage robotique. LeRobot v0.6.0 la comble avec une API de modèles de récompenses unifiée derrière l’interface lerobot.rewards. Robometer, un modèle de récompense généraliste pré-entraîné basé sur Qwen3-VL-4B, évalue la progression et le succès des tâches à partir d’une vidéo brute et d’une instruction en langage, sans entraînement spécifique à la tâche. Il a été entraîné sur plus d’un million de trajectoires robotiques. TOPReward va entièrement en zero-shot : il enveloppe n’importe quel VLM et lit la probabilité logarithmique du token « True » étant donné la trajectoire vidéo et l’instruction. Les deux sont livrés avec des scripts d’annotation qui écrivent des courbes de progression par image dans les jeux de données, permettant un clonage comportemental conscient des récompenses et une inspection de la qualité des données. hugging-face-showcases-slack-native-coding-agent-and-ai-research-highlights

Benchmarks : une seule CLI pour les gouverner tous

La version intègre six nouveaux benchmarks de simulation dans une seule CLI lerobot-eval. LIBERO-plus met à l’épreuve les VLA avec environ 10 000 variantes de tâches perturbées sur sept axes. RoboTwin 2.0 couvre 50 tâches de manipulation bimanuelle avec une randomisation de domaine intensive. RoboCasa365 s’étend sur 365 tâches de cuisine dans 2 500 cuisines générées procéduralement. RoboCerebra teste le comportement à long terme avec des sous-objectifs chaînés. RoboMME est un examen de mémoire couvrant le comptage, les objets cachés et l’imitation. VLABench teste les connaissances et le raisonnement en manipulation, des questions de physique aux tâches composites comme préparer du café. Chacun est livré avec une image Docker et un checkpoint de référence SmolVLA testé en CI.

Code plus léger, données plus rapides, entraînement dans le cloud

La base de code elle-même devient plus légère : pip install lerobot transporte désormais environ 40 % de dépendances de base en moins avec des extras ciblés par fonctionnalité. L’encodage vidéo expose toute la surface de l’encodeur avec un sondage d’accélération matérielle pour NVENC, VAAPI et autres. L’enregistrement en profondeur est de bout en bout avec le support Intel RealSense. Le chargement des données s’accélère jusqu’à 2 fois avec le décodage parallèle multi-caméras et les caches persistants des workers. La nouvelle CLI lerobot-annotate utilise un VLM pour horodater automatiquement les sous-tâches, les plans et les corrections à travers les épisodes. L’entraînement FSDP permet de partitionner les modèles plus grands qu’un seul GPU sur plusieurs workers. Et la même commande lerobot-train s’exécute dans le cloud avec un seul indicateur , job.target, supportant tout, d’un T4 à 8x H200. sippsh-launches-open-source-library-for-local-ai-inference-with-3x-to-5x-speedup

Une approche DRY de l’apprentissage robotique

La philosophie directrice derrière v0.6.0 est Don’t Repeat Yourself, appliquée non pas au code mais au calcul. Chaque nouvelle fonctionnalité optimise le transfert de l’intelligence du temps d’exécution vers le temps d’entraînement : modèles de monde qui disparaissent à l’inférence, modèles de récompense qui se pré-entraînent sur un million de trajectoires pour que vous n’ayez pas à re-étiqueter, benchmarks qui testent de nombreuses perturbations sans réentraînement. Le résultat est un framework qui ne se contente pas de collectionner des modèles. Il systématise la compréhension croissante que le goulot d’étranglement de l’apprentissage robotique n’est pas l’architecture du modèle mais l’efficacité des données et la rigueur de l’évaluation. how-open-source-risc-v-is-disrupting-the-processor-market-and-reshaping-hardware-design

En conjonction avec les neuf familles de benchmarks désormais unifiées sous un même toit, la nouvelle CLI lerobot-rollout supportant les corrections de style DAgger, et l’entraînement dans le cloud sur HF Jobs, LeRobot v0.6.0 se positionne comme le système d’exploitation pour la recherche en robotique open source. Le volant d’inertie de l’apprentissage robotique, déployer, collecter des corrections, fine-tuner, répéter, est désormais à un indicateur CLI.