Le modèle robotique 8B de Mistral AI établit un nouveau record de navigation avec une seule caméra et sans capteurs de profondeur

Nouveau benchmark, moins de capteurs

Mistral AI a publié Robostral Navigate, un modèle de 8 milliards de paramètres qui permet aux robots de suivre des instructions en langage naturel dans des espaces intérieurs inconnus en utilisant uniquement une seule caméra RVB, sans capteurs de profondeur, sans LiDAR, sans système multi-caméras. Sur l'ensemble de validation non vu de R2R-CE (Room-to-Room in Continuous Environments), le modèle atteint un taux de succès de 76,6 %. Cela dépasse la meilleure approche à caméra unique de 9,7 points de pourcentage et le meilleur système multi-capteurs de 4,5 points, selon l'entreprise.

Le modèle a également obtenu 79,4 % sur la division de validation vue, qui teste les environnements rencontrés par le modèle lors de l'entraînement. Mais c'est le chiffre non vu que les chercheurs en navigation examinent en premier : il mesure dans quelle mesure un modèle se généralise à des espaces qu'il n'a jamais vus, une condition préalable pour tout robot de production déployé en dehors d'un laboratoire.

Pointer, pas cartographier

Robostral Navigate utilise une technique que Mistral appelle la navigation par pointage. Étant donné sa vue actuelle de la caméra, le modèle prédit les coordonnées de l'image de l'endroit où le robot doit se déplacer ensuite, ainsi qu'une orientation souhaitée à l'arrivée. Cette approche évite de s'appuyer sur des déplacements métriques précis, rendant la politique naturellement robuste à différentes intrinsèques de caméra et échelles selon les types de robots.

Lorsque la cible se trouve en dehors du champ de vision du robot, une situation que le pointage ne peut pas gérer, le modèle revient à des commandes de déplacement local exprimées dans le système de coordonnées du robot, par exemple « avancez de 2 mètres, déplacez-vous de 1,5 mètre vers la gauche et tournez de 25 degrés à gauche ». La stratégie hybride permet au même modèle de fonctionner sur des plateformes à roues, à pattes et même volantes sans adaptation, selon Mistral.

Construit de toutes pièces en simulation

Plutôt que d'affiner un VLM open-source existant, Mistral a construit Robostral Navigate à partir de zéro. L'équipe a initialisé le modèle à partir d'un modèle de langage visuel interne spécialisé dans les tâches d'ancrage, de pointage, de localisation d'objets et de comptage, et a traité la navigation comme une extension naturelle de la compréhension spatiale. Les données ont été générées entièrement en simulation via un pipeline personnalisé qui a produit environ 400 000 trajectoires à travers 6 000 scènes.

L'efficacité était une contrainte de conception dès le départ. L'équipe a développé une stratégie d'attention basée sur un arbre qui compresse un épisode de navigation entier en une seule séquence d'entraînement, empêchant les fuites d'informations entre les pas de temps tout en les exécutant tous en une seule passe avant. Cette technique, appelée préfixe de mise en cache, réduit les jetons d'entraînement d'un facteur 22 par rapport au traitement de chaque pas de temps comme un échantillon séparé. Mistral affirme que cela a transformé des sessions d'entraînement qui auraient pris des mois en sessions qui se terminent en quelques jours.

Post-entraînement avec RL en ligne

Après l'entraînement supervisé, Mistral a appliqué un algorithme d'apprentissage par renforcement en ligne appelé CISPO, une méthode interne qui permet au modèle d'apprendre par essais et erreurs lors du déploiement. L'étape de RL a amélioré le taux de succès de 3,2 points de pourcentage à elle seule, et l'entreprise note que la performance n'a pas encore atteint un plateau, suggérant que d'autres gains sont possibles avec plus de calcul et de données.

Le modèle fonctionne sur l'infrastructure existante de Mistral et est disponible via la plateforme entreprise de l'entreprise. Les prix n'ont pas été divulgués.

Entrée stratégique dans l'IA incarnée

Robostral Navigate marque la première incursion de Mistral dans la robotique, un domaine dominé par des entreprises comme Covariant, Hello Robot et Google DeepMind. Alors que Mistral a bâti sa réputation sur les LLM textuels et les modèles de codage comme Codestral, la publication de navigation signale un pari que la prochaine frontière pour les modèles fondamentaux réside dans la boucle entre le langage et l'action physique.

« La navigation est une capacité fondamentale pour la robotique à usage général », a écrit l'équipe dans l'annonce. « En combinant simulation à grande échelle, entraînement efficace et fortes priorités d'ancrage, Robostral Navigate démontre qu'une navigation incarnée de pointe peut être réalisée avec un modèle compact et une seule caméra RVB. »

Le modèle n'est pas encore open-source. Mistral affirme qu'il élargit activement son équipe de robotique et recrute des scientifiques et ingénieurs de recherche pour pousser le travail plus loin vers une « IA incarnée unifiée ».