HiPHI rassemble 617,5 heures de mouvements humains du corps entier, enregistrés par capture de mouvement optique avec une précision submillimétrique. Ce jeu de données de capture de mouvement, conçu pour l'apprentissage des robots humanoïdes, consacre 245,7 heures à des personnes en interaction avec des objets. Chacun de ces enregistrements d'interaction est accompagné des trajectoires des objets et de leurs maillages 3D, le tout synchronisé.
La publication comprend aussi une suite de benchmarks ainsi que les résultats de politiques entraînées sur ces données et exécutées sur un robot humanoïde Unitree G1 réel.
Le déficit de données qui freine l'apprentissage des humanoïdes
Les robots humanoïdes doivent garder l'équilibre, se déplacer et manipuler des objets dans une très grande variété de situations. Les données disponibles pour les entraîner sont limitées des deux côtés. Les vidéos issues d'Internet montrent des comportements variés, mais elles ne permettent pas de saisir des états physiques précis, comme la position exacte des articulations ou l'instant des contacts. La capture de mouvement en laboratoire enregistre les gestes avec exactitude, mais ces systèmes ne couvrent généralement qu'un éventail restreint d'actions.
HiPHI vise à se placer entre les deux. Il conserve la précision de la capture optique tout en cherchant à couvrir bien plus largement ce que font réellement les gens. Le système optique suit les mouvements avec une précision submillimétrique, ce qui compte lorsque les enregistrements servent de cibles pour un contrôleur de robot plutôt que de simple référence visuelle approximative.
Comment la couverture est organisée
Le jeu de données s'appuie sur FrameNet, un cadre linguistique qui décrit l'action humaine. Plutôt que d'enregistrer ce qui est le plus pratique, l'approche utilise ce cadre pour guider les captures, afin de couvrir de façon systématique un large éventail de mouvements du corps entier. L'objectif est de corriger une faiblesse courante des jeux de données de mouvement : un grand nombre total d'heures de séquences peut masquer une forte répétition de quelques types d'actions seulement.
La suite de benchmarks mesure précisément cet aspect. Elle évalue la diversité des mouvements et l'ancrage des interactions, ce qui permet aux chercheurs de comparer les jeux de données selon l'étendue de ce qu'ils couvrent et la qualité du lien entre le mouvement et les objets concernés, et pas seulement selon le nombre d'heures.
L'interaction avec les objets comme signal d'entraînement
Sur les 617,5 heures au total, 245,7 correspondent à des interactions entre humain et objet. Il reste donc 371,8 heures d'autres mouvements du corps entier. La partie consacrée aux interactions associe le mouvement humain à la trajectoire et au maillage de l'objet, enregistrés de manière synchronisée.
C'est cet appariement qui rend les données exploitables pour des tâches concrètes. Un robot qui apprend à porter, pousser ou tirer un objet doit savoir ce que l'objet a fait pendant le mouvement du corps, et où se trouvaient ses surfaces. La capture de mouvement d'une personne seule ne fournit pas cette information. Avec des enregistrements qui incluent l'objet, une chaîne d'entraînement peut récompenser le résultat correct pour l'objet comme la bonne posture du corps.
Résultats d'entraînement et robot réel
Les politiques d'apprentissage par renforcement entraînées sur ces données s'améliorent à mesure que le volume de données augmente. Les travaux couvrent également le transfert de la simulation au réel (sim-to-real), c'est-à-dire le passage d'une politique entraînée en simulation vers du matériel physique. Les politiques ont été déployées sur un robot humanoïde Unitree G1.
La source ne donne ni taux de réussite des tâches, ni valeurs d'erreur de suivi, ni nombre de sujets, ni liste des objets, ni architectures précises des politiques. Ces détails déterminent pourtant le poids que l'on peut accorder aux affirmations sur le passage à l'échelle et le transfert.
Ce que cela change, et ce qui reste ouvert
L'apport principal tient à la combinaison de ces caractéristiques. Une capture précise, une couverture large et planifiée, et des données d'objets synchronisées existent chacune séparément ailleurs. Les vidéos d'Internet offrent de l'étendue sans précision physique. La capture en laboratoire offre de la précision sans étendue. Un jeu de données de capture de mouvement pour humanoïdes qui vise les trois à l'échelle de centaines d'heures répond au déficit que la source présente comme un frein à l'apprentissage des humanoïdes.
L'inclusion d'un benchmark pourrait se révéler aussi utile que les données elles-mêmes. On compare souvent les jeux de données par leur nombre d'heures ou de clips. Une suite qui note la diversité et l'ancrage des interactions donne au domaine une base de comparaison plus précise, à condition que d'autres équipes l'adoptent et l'appliquent à leurs propres collections.
Plusieurs questions restent sans réponse. L'amélioration constatée avec le volume de données indique une tendance, mais la source ne précise ni où elle atteint un plateau ni l'ampleur des gains. Un déploiement sur un seul robot, l'Unitree G1, ne démontre le transfert que pour une seule morphologie. Rien n'établit que les mêmes données et politiques s'appliquent à des humanoïdes aux proportions, actionneurs ou mains différents. Porter, pousser et tirer ne représentent en outre qu'une part limitée de la manipulation, et la source ne décrit pas de tâches fines comme la manipulation dextre.
Reste aussi la question du retargeting (transposition du mouvement). Un mouvement humain enregistré avec une précision submillimétrique doit encore être projeté sur un robot dont les longueurs de membres, les limites articulaires et les contraintes d'équilibre diffèrent. La précision de l'enregistrement ne garantit pas à elle seule que le mouvement transposé soit physiquement réalisable par le robot. La source décrit le résultat du transfert, mais pas la part du travail due aux données et celle due à la configuration d'entraînement et de simulation.
Pour l'instant, HiPHI se lit surtout comme une ressource bien spécifiée et un étalon de mesure proposé. Sa valeur se jouera à l'usage, de façon indépendante : d'autres laboratoires s'en serviront-ils pour entraîner leurs modèles, les scores du benchmark seront-ils corrélés aux performances sur robot réel, et le comportement observé en fonction du volume de données se confirmera-t-il sur du matériel et des tâches plus variés ?