HiPHI contiene 617,5 ore di movimenti umani a corpo intero registrati con motion capture ottico con precisione sub-millimetrica. La raccolta è un dataset di motion capture per umanoidi pensato per il robot learning, e 245,7 ore riguardano persone che interagiscono con oggetti. Ciascuna di queste registrazioni di interazione è corredata da traiettorie degli oggetti sincronizzate e da mesh degli oggetti.
Il rilascio comprende anche una suite di benchmark e i risultati di policy addestrate sui dati ed eseguite su un robot umanoide Unitree G1 fisico.
Il divario di dati che frena l'apprendimento dei robot umanoidi
I robot umanoidi devono mantenere l'equilibrio, muoversi e manipolare oggetti in un'ampia varietà di situazioni. I dati disponibili per addestrarli presentano limiti ad entrambe le estremità. I video su internet mostrano comportamenti diversificati, ma non riescono a catturare stati fisici precisi come le posizioni esatte delle articolazioni o i tempi di contatto. Il motion capture di laboratorio registra il movimento in modo accurato, ma questi sistemi di solito coprono soltanto una gamma ristretta di azioni.
HiPHI nasce per collocarsi a metà strada tra i due approcci. Mantiene l'accuratezza della cattura ottica e punta a una copertura molto più ampia di ciò che le persone fanno davvero. Il sistema ottico traccia con precisione sub-millimetrica, un aspetto importante quando le registrazioni vengono usate come riferimento per il controllore di un robot e non come semplice riferimento visivo indicativo.
Come è organizzata la copertura
La raccolta è strutturata attorno a FrameNet, un framework linguistico che descrive l'azione umana. Invece di registrare ciò che risulta più comodo, l'approccio usa il framework per guidare cosa viene catturato, così da coprire in modo sistematico un ampio ventaglio di movimenti a corpo intero. L'obiettivo è affrontare un punto debole comune dei dataset di movimento, dove totali elevati di ore di filmato possono nascondere una forte ripetizione di pochi tipi di azione.
La suite di benchmark misura direttamente questo aspetto. Valuta la diversità del movimento e il grounding dell'interazione, offrendo ai ricercatori un modo per confrontare i dataset in base a quanto terreno coprono e a quanto il movimento è legato agli oggetti coinvolti, e non solo in base al numero di ore.
L'interazione con gli oggetti come segnale di addestramento
Delle 617,5 ore totali, 245,7 sono di interazione uomo-oggetto. Restano quindi 371,8 ore di altri movimenti a corpo intero. La parte di interazione abbina il movimento umano alla traiettoria e alla mesh dell'oggetto, registrate in sincronia.
È questo abbinamento a rendere i dati utilizzabili per compiti pratici. Un robot che impara a trasportare, spingere o tirare qualcosa deve sapere che cosa ha fatto l'oggetto mentre il corpo si muoveva e dove si trovavano le sue superfici. Il motion capture della sola persona non fornisce queste informazioni. Le registrazioni che includono l'oggetto permettono a una pipeline di addestramento di premiare il risultato corretto per l'oggetto oltre alla corretta posa del corpo.
Risultati dell'addestramento e robot reale
Le policy di reinforcement learning addestrate sui dati migliorano al crescere della quantità di dati. Il lavoro riguarda anche il trasferimento sim-to-real, ovvero il passaggio di una policy addestrata in simulazione all'hardware reale. Le policy sono state messe in opera su un robot umanoide Unitree G1.
La fonte non fornisce i tassi di successo dei compiti, i valori dell'errore di tracking, il numero di soggetti, l'elenco degli oggetti né le architetture specifiche delle policy. Sono dettagli che determinano quanto peso si possa attribuire alle affermazioni su scalabilità e trasferimento.
Cosa significa e cosa resta aperto
Il contributo principale sta nella combinazione di caratteristiche. Cattura precisa, copertura ampia e pianificata con criterio e dati sugli oggetti sincronizzati sono disponibili singolarmente altrove. I video su internet offrono ampiezza senza precisione fisica. La cattura di laboratorio offre precisione senza ampiezza. Un dataset di motion capture per umanoidi che punta a tutte e tre le cose su una scala di centinaia di ore affronta il divario che la fonte indica come limite dell'apprendimento umanoide.
L'inclusione di un benchmark potrebbe rivelarsi utile quanto i dati stessi. I dataset vengono spesso confrontati in base alle ore o al numero di clip. Una suite che valuta diversità e grounding dell'interazione offre al settore una base di confronto più specifica, a patto che altri gruppi la adottino e la applichino alle proprie raccolte.
Diverse questioni restano irrisolte. Il miglioramento riportato con la scala indica una tendenza, ma la fonte non dice dove si stabilizzi né quanto siano ampi i guadagni. L'impiego su un solo robot, l'Unitree G1, dimostra il trasferimento su un solo corpo. Non è stabilito se gli stessi dati e le stesse policy funzionino su umanoidi con proporzioni, attuatori o mani diversi. Trasportare, spingere e tirare sono inoltre solo una parte limitata della manipolazione, e la fonte non descrive compiti di precisione come la manipolazione destra.
C'è poi la questione del retargeting. Il movimento umano registrato con precisione sub-millimetrica deve comunque essere mappato su un robot con lunghezze degli arti, limiti articolari e vincoli di equilibrio differenti. L'accuratezza della registrazione non garantisce da sola che il movimento mappato sia fisicamente fattibile per il robot. La fonte descrive il risultato del trasferimento, ma non quanta parte del lavoro sia dovuta ai dati e quanta alla configurazione di addestramento e simulazione.
Per ora HiPHI va letto come una risorsa ben specificata e come un metro di valutazione proposto. Il suo valore sarà stabilito dall'uso indipendente: se altri laboratori ci addestreranno i propri modelli, se i punteggi del benchmark saranno correlati alle prestazioni su robot reale e se il comportamento di scalabilità reggerà su hardware e compiti più vari.