Des politiques d'apprentissage par imitation entraînées avec 0 % de données du monde réel et 100 % de données générées ont été déployées directement sur un vrai robot, et elles ont mené leurs tâches à bien. Ces données provenaient d'un Interactive World Simulator, un simulateur de monde robotique appris qui prédit les images de la caméra à partir des actions du robot, sans aucun moteur physique en son sein.
Le modèle fonctionne en mode interactif. Un opérateur peut brancher un dispositif de téléopération et piloter le robot via le modèle appris pendant plus de 10 minutes, à 15 images par seconde, sur un seul GPU RTX 4090. Sur toute cette durée, la vidéo prédite reste stable et physiquement plausible.
Le problème visé
La recette classique en apprentissage robotique comporte deux étapes lentes. Les chercheurs collectent des centaines de démonstrations d'experts sur un robot réel, entraînent une politique d'apprentissage par imitation avec ces données, puis l'évaluent en l'exécutant de nombreuses fois sur le même matériel. Ces deux étapes sont coûteuses et difficiles à reproduire. Le matériel tombe en panne, l'éclairage change, les objets se déplacent, et chaque nouvelle tâche ajoute des heures de laboratoire.
Les simulateurs physiques classiques constituent une alternative, mais chaque nouvelle tâche exige de modéliser à la main la géométrie, les contacts, le frottement et la déformation. Même ainsi, le simulateur ne correspond souvent pas assez fidèlement à la réalité pour que les politiques entraînées en son sein se transfèrent bien.
L'Interactive World Simulator emprunte une autre voie. À partir de l'image courante et d'une séquence d'actions du robot, il prédit les images suivantes uniquement dans l'espace des pixels. Si ces prédictions sont assez fidèles, on peut collecter des démonstrations à l'intérieur du modèle et évaluer de nombreuses politiques dans des conditions strictement identiques.
Conception et champ d'application
L'entraînement se déroule en deux étapes. D'abord, un autoencodeur compresse les images RVB en représentations latentes 2D compactes, puis les reconstruit sous forme d'images. Le modèle peut ainsi travailler dans un espace de dimension réduite tout en produisant une sortie au niveau du pixel.
Ensuite, l'autoencodeur est gelé et un modèle de dynamique conditionné par les actions est entraîné dans l'espace latent. À partir des latents visuels passés et des actions du robot, il prédit l'état latent suivant, qui est décodé en image. Lors de l'inférence, le processus se répète de manière autorégressive : les images prédites servent de contexte à la prédiction suivante. C'est la prédiction dans l'espace latent avec des modèles de cohérence (consistency models) qui permet au simulateur de fonctionner de façon interactive tout en restant stable sur de longs horizons.
Le modèle a été entraîné sur quatre tâches de manipulation couvrant des régimes physiques différents : le poussage d'un T, qui implique des contacts entre corps rigides ; l'acheminement d'une corde, où une corde déformable interagit avec un clip rigide ; la saisie d'une tasse, qui dépend de la dynamique fine de la pince ; et le balayage de tas, qui met en jeu des amas d'objets. Ces quatre comportements ont été appris à partir des seules données d'interaction, sans aucun a priori physique codé en dur.
Dans la tâche de la corde, le modèle distingue le cas où la corde est insérée dans le clip de celui où elle passe à côté sans contact. Il ne favorise aucune des deux issues et suit ce que les actions impliquent. Pour la saisie de la tasse, il reproduit la tasse qui glisse hors de la pince, ainsi que l'anse poussée et mise en rotation. Pour le balayage de tas, il génère une vidéo cohérente sous plusieurs points de vue.
Deux applications testées
Pour la génération de données, les démonstrations ont été collectées entièrement dans le simulateur. Les politiques d'apprentissage par imitation entraînées sur ces données ont ensuite été déployées sur le robot réel. Selon les développeurs, ces politiques sont restées robustes face à des perturbations humaines continues, ce qu'ils interprètent comme la preuve que les données générées sont de qualité comparable aux données réelles.
Pour l'évaluation, quatre types de politiques ont été exécutés à la fois dans le simulateur et sur le robot réel, à partir des mêmes configurations initiales : DP, ACT, π0 et π0.5. Chaque point de données correspond à un checkpoint de politique évalué dans les deux contextes. Les développeurs rapportent une forte corrélation entre les deux scores, d'une tâche à l'autre et d'une politique à l'autre. Les politiques qui réussissaient dans le simulateur réussissaient aussi sur le robot réel, et celles qui échouaient dans l'un échouaient dans l'autre.
Les développeurs estiment que les approches existantes pèchent au moins sur un point. De nombreuses méthodes de génération vidéo et de modèles de monde ne sont pas explicitement conditionnées par les actions du robot, sont trop lentes pour l'interaction en temps réel, sont fermées (non open source), ou deviennent instables sur de longues séquences. Le nouveau modèle vise à résoudre les deux derniers problèmes, la stabilité et l'efficacité de calcul, sur du matériel grand public.
Parmi les prochaines étapes figurent l'extension du cadre à des environnements plus variés et à des tâches de manipulation plus complexes. Les développeurs citent également comme piste ouverte la manière dont les performances d'un modèle de monde évoluent avec davantage de données d'interaction et de calcul.
Analyse : ce que cela signifie et ce qui reste à démontrer
L'intérêt pratique tient au matériel et à la boucle de travail. Un seul GPU grand public est un seuil bas comparé à une cellule robotique, et un fonctionnement à 15 images par seconde pendant plus de 10 minutes permet de téléopérer dans le modèle comme on le ferait sur un vrai robot. On peut ainsi collecter des démonstrations et comparer des checkpoints sans avoir à remettre en place une scène physique.
Le résultat sur l'évaluation pourrait compter davantage que celui sur les données. La sélection des checkpoints est un coût quotidien de l'apprentissage par imitation, et un substitut qui classe les politiques comme le fait le robot réel éliminerait une grande partie de ce coût. L'ensemble comparé est d'ailleurs bien choisi : il couvre une politique de type diffusion, une politique à base de transformeur et deux modèles vision-langage-action, de sorte que la corrélation ne se limite pas à une seule famille de politiques.
La comparaison avec les simulateurs physiques relève d'un compromis, non d'un remplacement. Un modèle appris évite de modéliser à la main la géométrie, les contacts et le frottement, mais il hérite de ce que couvrent ses données d'entraînement. Le simulateur a été entraîné sur des données d'interaction de robots réels : une part de collecte de données réelles subsiste donc en amont. Le résultat « zéro donnée réelle » décrit l'étape d'entraînement des politiques, pas l'ensemble de la chaîne.
Plusieurs points restent à démontrer d'après les éléments disponibles. Aucun taux de réussite, coefficient de corrélation ni nombre de démonstrations n'est fourni, si bien qu'on ne peut juger de la qualité de la concordance entre scores simulés et réels. Les tests portent sur quatre tâches sur table, et les développeurs citent eux-mêmes des environnements plus variés et des tâches plus complexes comme travaux futurs. La stabilité à long terme est rapportée pour plus de 10 minutes, mais on ignore comment le modèle se comporte lorsque les actions l'entraînent loin de sa distribution d'entraînement. Enfin, l'évolution des performances avec les données et le calcul est explicitement laissée ouverte.
Ce travail constitue un argument crédible : un simulateur de monde robotique appris peut servir d'outil opérationnel pour l'entraînement comme pour l'évaluation sur des tâches de manipulation sur table riches en contacts. Reste à savoir si cela tient pour des tâches plus difficiles et de nouveaux environnements, question à laquelle devront répondre les prochains travaux.