Liber-0, un world action model della startup pechinese LiberAI, ha portato a termine il 36,0% dei tentativi in una valutazione su 60 task, senza dimostrazioni robotiche raccolte per quei compiti. Il modello è stato preaddestrato su oltre 2,2 milioni di ore di esperienza umana. LiberAI ha eseguito 600 prove in totale.
I 60 task sono stati proposti da GPT-6 e sono distinti dai benchmark interni di scaling di LiberAI. Si dividono in 20 task di pick-and-place, 20 task di manipolazione non pick-and-place e 20 task più difficili, non pick-and-place e a lungo orizzonte. Tra gli esempi: mettere una penna in un astuccio, spingere un cassetto per chiuderlo e una sequenza in cui una penna va in una custodia e la custodia in un cassetto.
Risultati per tipo di task
Il tasso di successo è calato con l'aumentare della complessità. Liber-0 ha raggiunto il 63,5% nel pick-and-place, il 34,0% nelle altre manipolazioni e il 10,5% nel gruppo più difficile di task non pick-and-place e a lungo orizzonte.
LiberAI definisce lo zero-shot in senso restrittivo. Il checkpoint valutato non è stato addestrato su dimostrazioni robotiche raccolte appositamente per i task di destinazione. Il suo preaddestramento, però, includeva comunque dati robotici.
Sui benchmark interni di LiberAI, il checkpoint preaddestrato ha ottenuto 81,4 nel pick-and-place e 72,3 nei task non pick-and-place, misurati come punteggi di avanzamento. Il post-addestramento sul robot ha aggiunto 2,2 e 1,5 punti, portando i valori a 83,6 e 73,8. LiberAI interpreta il guadagno ridotto come segno che il preaddestramento già cattura gran parte delle capacità richieste da questi task.
Come l'esperienza umana diventa azione robotica
I video umani non si traducono in modo diretto in comandi per il robot. Le telecamere sono in posizioni diverse, le pose delle mani stimate dai video sono rumorose e il corpo umano si muove in modo diverso da quello di un robot. Secondo LiberAI, Liber-0 affronta il problema in tre modi.
Il primo è LiberSense Glove, il sistema di raccolta dati dell'azienda, che registra direttamente i movimenti della mano e collega il video al movimento che lo ha generato. Il secondo è una piattaforma robotica di LiberAI le cui inquadrature e i cui movimenti di mano, polso e vita sono progettati per somigliare più da vicino a quelli di una persona. Il terzo è una Unified Embodiment Representation, che fornisce al modello informazioni sulla forma del corpo e sul movimento dei giunti, così da adattare le azioni al corpo che le esegue.
Liber-0 predice congiuntamente i fotogrammi video futuri e le azioni. Questo gli permette di addestrarsi su normali video privi di etichette di azione, insieme a registrazioni del guanto e del robot che contengono movimento misurato.
Dati del guanto e budget di dati robotici
LiberAI ha condotto due esperimenti controllati, separati dalla suite di 60 task. Nel primo, le policy sono state addestrate su dimostrazioni robotiche che coprivano solo il pick-and-place, mentre le dimostrazioni con il guanto includevano piegare, premere e aprire. I punteggi di avanzamento andavano da 0 a 100 e riconoscevano il completamento parziale, su quattro task di pick-and-place e sei altri task.
Con i soli dati robotici, il punteggio di avanzamento nei task non pick-and-place era 2,2. Aggiungendo le registrazioni del guanto di quelle azioni, è salito a 47,5. Includendo anche i dati di pick-and-place del guanto, ha raggiunto 54,6, vicino al 56,3 di una policy addestrata su dimostrazioni robotiche di ogni azione.
Il secondo esperimento ha verificato se i dati del guanto possano sostituire le dimostrazioni robotiche. In una valutazione su otto task con la piattaforma robotica di LiberAI, i set completi di dati robotici e del guanto contenevano un numero uguale di dimostrazioni. Una policy addestrata sul 25% del set robotico più l'intero set del guanto ha ottenuto 75,6. Una policy addestrata sull'intero set robotico ha ottenuto 72,8. Le prestazioni sono quindi comparabili con il 75% in meno di dimostrazioni robotiche, anche se la policy mista ha comunque usato l'intero set del guanto.
LiberAI ha anche realizzato una simulazione interattiva in cui gli utenti caricano i propri oggetti e osservano Liber-0 manipolarli. Questa versione è stata post-addestrata su 100 ore di dati di teleoperazione simulata e non ha ricevuto alcun addestramento specifico sugli oggetti.
Songming Liu, fondatore e CEO di LiberAI, ha dichiarato che i video umani mostrano cosa fanno le persone, ma non esattamente come si muovono le loro mani né come quel movimento si adatti a un corpo diverso. Ancorare l'esperienza a movimenti misurati e allinearla al corpo del robot, ha spiegato, è ciò che la trasforma in capacità robotica.
LiberAI indica anche i propri limiti. Il guanto registra pose e traiettorie della mano, ma non contatto né forza, aspetti determinanti per inserimento, fissaggio e manipolazione di materiali morbidi. Sensori tattili e di forza, e la raccolta di dati in una gamma più ampia di abitazioni, restano sviluppi futuri.
Cosa dimostrano e cosa non dimostrano i risultati
La prova più solida di questo annuncio è il risultato sul numero di dimostrazioni. I dati robotici teleoperati sono lenti e costosi da raccogliere e vanno ripetuti per ogni nuovo task e piattaforma. Un guanto, invece, si può indossare senza un robot sul posto. Se la riduzione del 75% reggesse oltre gli otto task, il costo di costruzione di un dataset di manipolazione si sposterebbe verso una raccolta lato umano più economica. Il risultato proviene però dalla piattaforma di una sola azienda e da un solo insieme di task: è un segnale, non un dato assodato.
Il 36,0% in evidenza va letto con attenzione. La media nasconde un forte divario: il gruppo più difficile di task multi-step ha avuto successo il 10,5% delle volte. Un modello che fallisce circa nove tentativi su dieci a lungo orizzonte è lontano dall'essere impiegabile per quei lavori. Il 63,5% nel pick-and-place è un indicatore più utile di dove l'approccio funziona oggi, e quella famiglia di task è anche quella già coperta dalla maggior parte dei dataset robotici esistenti.
Il confronto con altri sistemi è difficile sulla base delle prove disponibili. I risultati sono riportati da LiberAI e la suite di task è stata generata da un modello linguistico, non ricavata da un benchmark condiviso. La fonte non fornisce risultati di modelli concorrenti sugli stessi 60 task. Tassi di successo, usati per la suite zero-shot, e punteggi di avanzamento, usati per gli esperimenti controllati, sono metriche diverse e non vanno confrontati tra loro.
Anche l'etichetta zero-shot comporta alcune cautele. Il preaddestramento includeva dati robotici, quindi l'affermazione riguarda l'assenza di dimostrazioni specifiche per i task, non l'assenza di esperienza robotica. Quanta parte del 36,0% derivi dal preaddestramento sull'esperienza umana, e non da quei dati robotici, non è isolato nei numeri diffusi.
Tre verifiche scioglierebbero i dubbi aperti: una replica indipendente su un insieme di task condiviso, risultati su task ricchi di contatto una volta aggiunto il rilevamento della forza, e prove che il vantaggio del guanto regga anche su corpi robotici diversi da quello di LiberAI. L'architettura del world action model, che apprende insieme da video non etichettati e da movimento misurato, è plausibile. Il suo valore dipende ora dalla conferma di questi test successivi.
