Liber-0, un modèle monde-action (world action model) de la start-up pékinoise LiberAI, a mené à bien 36,0 % de ses tentatives sur une évaluation de 60 tâches, sans démonstrations robotiques collectées pour ces tâches. Le modèle a été pré-entraîné sur plus de 2,2 millions d'heures d'expérience humaine. LiberAI a réalisé 600 essais au total.
Les 60 tâches ont été proposées par GPT-6 et sont distinctes des benchmarks internes de passage à l'échelle de LiberAI. Elles se répartissent en 20 tâches de pick-and-place (saisie et dépose), 20 tâches de manipulation hors pick-and-place et 20 tâches plus difficiles, hors pick-and-place et à long horizon. Parmi les exemples : ranger un stylo dans une trousse, repousser un tiroir pour le fermer, ou encore une séquence où un stylo est glissé dans une pochette, puis la pochette dans un tiroir.
Résultats par type de tâche
Le taux de réussite baisse à mesure que les tâches se complexifient. Liber-0 atteint 63,5 % en pick-and-place, 34,0 % sur les autres tâches de manipulation et 10,5 % sur le groupe le plus difficile, celui des tâches hors pick-and-place et à long horizon.
LiberAI donne au terme « zero-shot » un sens étroit : le checkpoint évalué n'a pas été entraîné sur des démonstrations robotiques collectées spécifiquement pour les tâches visées. Son pré-entraînement incluait néanmoins des données robotiques.
Sur les benchmarks internes de LiberAI, le checkpoint pré-entraîné obtient 81,4 en pick-and-place et 72,3 sur les tâches hors pick-and-place, mesurés en scores de progression. Le post-entraînement robotique ajoute 2,2 et 1,5 points, soit 83,6 et 73,8. LiberAI y voit la preuve que le pré-entraînement capture déjà l'essentiel des capacités requises par ces tâches.
Comment l'expérience humaine devient action robotique
La vidéo humaine ne se transpose pas directement en commandes robotiques. Les caméras n'occupent pas les mêmes positions, les poses de main estimées à partir de la vidéo sont bruitées, et le corps humain ne se déplace pas comme un robot. Selon LiberAI, Liber-0 répond à ce problème de trois manières.
La première est le LiberSense Glove, le système de collecte de données de l'entreprise, qui enregistre directement les mouvements de la main et relie la vidéo au mouvement qui la produit. La deuxième est une plateforme robotique LiberAI dont les points de vue des caméras et les mouvements de la main, du poignet et de la taille sont conçus pour ressembler davantage à ceux d'un humain. La troisième est une Unified Embodiment Representation (représentation unifiée de l'incarnation), qui fournit au modèle des informations sur la morphologie et les mouvements articulaires afin qu'il adapte ses actions au corps qui les exécute.
Liber-0 prédit conjointement les images vidéo futures et les actions. Il peut ainsi s'entraîner sur de la vidéo ordinaire sans étiquettes d'action, en complément d'enregistrements de gant et de robot qui contiennent des mouvements mesurés.
Données de gant et budget de données robotiques
LiberAI a mené deux expériences contrôlées, distinctes de la suite de 60 tâches. Dans la première, les politiques ont été entraînées sur des démonstrations robotiques ne couvrant que le pick-and-place, tandis que les démonstrations au gant incluaient le pliage, l'appui et l'ouverture. Les scores de progression allaient de 0 à 100 et créditaient l'achèvement partiel, sur quatre tâches de pick-and-place et six autres tâches.
Avec les seules données robotiques, le score de progression hors pick-and-place était de 2,2. L'ajout d'enregistrements au gant de ces actions l'a porté à 47,5. En y ajoutant aussi les données de pick-and-place au gant, il atteint 54,6, tout près des 56,3 obtenus par une politique entraînée sur des démonstrations robotiques de toutes les actions.
La seconde expérience visait à savoir si les données de gant peuvent remplacer les démonstrations robotiques. Sur une évaluation de huit tâches avec la plateforme robotique de LiberAI, les ensembles complets de données robot et de données gant contenaient le même nombre de démonstrations. Une politique entraînée sur 25 % de l'ensemble robot plus la totalité de l'ensemble gant a obtenu 75,6. Une politique entraînée sur l'ensemble robot complet a obtenu 72,8. La performance est donc comparable avec 75 % de démonstrations robotiques en moins, même si la politique mixte exploitait tout l'ensemble de données de gant.
LiberAI a aussi construit une simulation interactive où les utilisateurs téléversent leurs propres objets et regardent Liber-0 les manipuler. Cette version a été post-entraînée sur 100 heures de données de téléopération simulée et n'a reçu aucun entraînement spécifique aux objets.
Songming Liu, fondateur et PDG de LiberAI, explique que la vidéo humaine montre ce que font les gens, mais pas précisément comment bougent leurs mains ni comment ce mouvement s'adapte à un autre corps. Ancrer l'expérience dans un mouvement mesuré et l'aligner sur le corps du robot, dit-il, est ce qui la transforme en compétence robotique.
LiberAI énumère elle-même ses limites. Le gant enregistre les poses et trajectoires de la main, mais pas le contact ni la force, pourtant déterminants pour l'insertion, la fixation et la manipulation de matériaux souples. La détection tactile et de force, ainsi que la collecte de données dans une plus grande variété de domiciles, restent à venir.
Ce que les résultats montrent, et ce qu'ils ne montrent pas
L'élément le plus probant de cette publication est le résultat sur le nombre de démonstrations. Les données robotiques téléopérées sont lentes et coûteuses à collecter, et il faut les refaire pour chaque nouvelle tâche et chaque nouvelle plateforme. Un gant, lui, peut être porté sans robot sur place. Si la réduction de 75 % se confirme au-delà de huit tâches, le coût de constitution d'un jeu de données de manipulation se déplacerait vers une collecte côté humain, moins chère. Le résultat provient toutefois d'une seule plateforme d'entreprise et d'un seul ensemble de tâches : c'est un signal, pas un chiffre établi.
Le chiffre phare de 36,0 % demande à être lu avec prudence. La moyenne masque un gradient abrupt : le groupe de tâches multi-étapes les plus difficiles n'a réussi que 10,5 % du temps. Un modèle qui échoue sur environ neuf tentatives sur dix à long horizon est loin d'être déployable pour ces missions. Les 63,5 % en pick-and-place sont un meilleur indicateur de ce qui fonctionne aujourd'hui, et cette famille de tâches est aussi celle que couvrent déjà la plupart des jeux de données robotiques existants.
Il est difficile de comparer Liber-0 à d'autres systèmes avec les éléments fournis. Les résultats sont publiés par LiberAI, et la suite de tâches a été générée par un modèle de langage plutôt que tirée d'un benchmark partagé. La source ne fournit aucun résultat de modèles concurrents sur ces mêmes 60 tâches. Les taux de réussite, utilisés pour la suite zero-shot, et les scores de progression, utilisés pour les expériences contrôlées, sont des métriques différentes et ne doivent pas être mis en regard l'un de l'autre.
L'étiquette « zero-shot » appelle elle aussi des réserves. Le pré-entraînement incluait des données robotiques : l'affirmation porte donc sur l'absence de démonstrations propres aux tâches, non sur l'absence d'expérience robotique. La part des 36,0 % qui revient au pré-entraînement sur l'expérience humaine, plutôt qu'à ces données robotiques, n'est pas isolée dans les chiffres publiés.
Trois tests permettraient de trancher les questions ouvertes : une réplication indépendante sur un ensemble de tâches partagé, des résultats sur des tâches riches en contacts une fois la détection de force ajoutée, et la preuve que l'avantage du gant se maintient sur d'autres morphologies de robot que celles de LiberAI. L'architecture du modèle monde-action, qui apprend conjointement à partir de vidéo non étiquetée et de mouvements mesurés, est plausible. Son intérêt dépendra désormais de la confirmation par ces tests à venir.
