Policy di imitation learning addestrate con lo 0% di dati reali e il 100% di dati generati sono state impiegate direttamente su un robot fisico e hanno portato a termine i loro compiti. I dati provenivano da Interactive World Simulator, un simulatore di mondo per robot basato su apprendimento, che prevede i fotogrammi della telecamera a partire dalle azioni del robot, senza alcun motore fisico al suo interno.
Il modello funziona in modo interattivo. Un operatore può collegare un dispositivo di teleoperazione e controllare il robot attraverso il modello appreso per più di 10 minuti a 15 fotogrammi al secondo su una singola GPU RTX 4090. In tutto questo arco di tempo il video previsto resta stabile e fisicamente plausibile.
Il problema che affronta
La procedura standard nel robot learning prevede due fasi lente. I ricercatori raccolgono centinaia di dimostrazioni di esperti su un robot reale, addestrano su di esse una policy di imitation learning e poi la valutano eseguendola molte volte sullo stesso hardware. Entrambe le fasi sono costose e difficili da riprodurre. L'hardware si guasta, l'illuminazione cambia, gli oggetti si spostano e ogni nuovo compito richiede altre ore di laboratorio.
I simulatori fisici classici sono un'alternativa, ma per ogni nuovo compito bisogna modellare a mano geometria, contatti, attrito e deformazioni. Anche così, il simulatore spesso non corrisponde abbastanza bene alla realtà da permettere il trasferimento delle policy addestrate al suo interno.
L'Interactive World Simulator segue un'altra strada. Date l'immagine corrente e una sequenza di azioni del robot, prevede i fotogrammi successivi esclusivamente nello spazio dei pixel. Se le previsioni sono abbastanza fedeli, le dimostrazioni si possono raccogliere dentro il modello e molte policy si possono valutare in condizioni identiche.
Come è stato costruito e cosa copre
L'addestramento avviene in due fasi. Prima, un autoencoder comprime le immagini RGB in rappresentazioni latenti 2D compatte e le ricostruisce in immagini. Questo permette al modello di lavorare in uno spazio a dimensionalità ridotta continuando a produrre un output a livello di pixel.
Poi, l'autoencoder viene congelato e nello spazio latente si addestra un modello di dinamica condizionato dalle azioni. Date le latenti visive passate e le azioni del robot, prevede lo stato latente successivo, che viene decodificato in un'immagine. In fase di inferenza il processo si ripete in modo autoregressivo, così i fotogrammi previsti diventano contesto per la previsione seguente. La previsione nello spazio latente con i consistency model è ciò che consente al simulatore di funzionare in modo interattivo restando stabile su orizzonti lunghi.
Il modello è stato addestrato su quattro compiti di manipolazione che coprono regimi fisici diversi: il T pushing, che coinvolge contatti tra corpi rigidi; il rope routing, in cui una corda deformabile interagisce con una clip rigida; l'afferraggio di una tazza, che dipende dalla dinamica fine della pinza; e lo spazzamento di mucchi, che coinvolge cumuli di oggetti. Tutti e quattro i comportamenti sono stati appresi dai soli dati di interazione, senza alcuna conoscenza fisica codificata a priori.
Nel rope routing, il modello distingue tra la corda che viene inserita nella clip e la corda che oscilla oltre senza contatto. Non privilegia nessuno dei due esiti e segue ciò che le azioni implicano. Nell'afferraggio della tazza, riproduce la tazza che scivola via dalla pinza e il manico che viene urtato e ruotato. Nello spazzamento dei mucchi, genera video coerenti da più punti di vista.
Due applicazioni messe alla prova
Per la generazione di dati, le dimostrazioni sono state raccolte interamente dentro il simulatore. Le policy di imitation learning addestrate su quei dati sono state impiegate sul robot reale. Secondo gli sviluppatori, le policy sono rimaste robuste sotto continue perturbazioni umane, e lo considerano una prova che i dati generati hanno una qualità paragonabile a quelli reali.
Per la valutazione, quattro tipi di policy sono stati eseguiti sia nel simulatore sia sul robot reale a partire dalle stesse configurazioni iniziali: DP, ACT, π0 e π0.5. Ogni punto dati è un checkpoint di policy valutato in entrambi gli ambienti. Gli sviluppatori riportano una forte correlazione tra i due punteggi, sia tra i compiti sia tra le policy. Le policy che avevano successo nel simulatore lo avevano anche sul robot reale, e quelle che fallivano in uno fallivano anche nell'altro.
Gli sviluppatori sostengono che gli approcci esistenti presentano almeno un limite. Molti metodi di generazione video e di world model non sono condizionati esplicitamente sulle azioni del robot, sono troppo lenti per l'interazione in tempo reale, sono closed source oppure diventano instabili su rollout lunghi. Il nuovo modello punta a risolvere gli ultimi due problemi, stabilità ed efficienza computazionale, su hardware consumer.
I passi successivi comprendono l'estensione del framework ad ambienti più diversificati e a compiti di manipolazione più complessi. Gli sviluppatori indicano inoltre come direzione aperta il modo in cui le prestazioni dei world model scalano con più dati di interazione e più risorse di calcolo.
Analisi: cosa significa e cosa resta da dimostrare
Il significato pratico sta nell'hardware e nel ciclo di lavoro. Una singola GPU consumer è una soglia bassa rispetto a una cella robotica, e girare a 15 FPS per oltre 10 minuti significa che una persona può teleoperare dentro il modello come farebbe con un robot reale. Questo rende possibili la raccolta di dimostrazioni e il confronto tra checkpoint senza dover ripristinare una scena fisica.
Il risultato sulla valutazione potrebbe contare più di quello sui dati. La scelta dei checkpoint è un costo quotidiano nell'imitation learning, e un proxy che ordina le policy come fa il robot reale eliminerebbe gran parte di quel costo. Anche l'insieme di confronto è ben scelto: comprende una policy di tipo diffusion, una basata su transformer e due modelli vision-language-action, quindi la correlazione non è limitata a una sola famiglia di policy.
Il confronto con i simulatori fisici è un compromesso, non una sostituzione. Un modello appreso evita di modellare a mano geometria, contatti e attrito, ma eredita tutto ciò che i suoi dati di addestramento coprono. Il simulatore è stato addestrato su dati di interazione di robot reali, quindi una parte di raccolta di dati reali resta a monte. Il risultato a zero dati reali descrive la fase di addestramento delle policy, non l'intera pipeline.
Dal materiale disponibile restano diversi aspetti non dimostrati. Non vengono forniti tassi di successo, coefficienti di correlazione né numero di dimostrazioni, quindi non si può valutare quanto i punteggi simulati e reali coincidano. I test riguardano quattro compiti su piano di lavoro, e gli stessi sviluppatori indicano ambienti più diversificati e compiti più complessi come lavoro futuro. La stabilità a lungo termine è riportata per oltre 10 minuti, ma non è chiarito come si comporti il modello quando le azioni lo spingono ben oltre la sua distribuzione di addestramento. Infine, il modo in cui le prestazioni scalano con dati e calcolo è lasciato esplicitamente aperto.
Il risultato è un caso credibile del fatto che un simulatore di mondo per robot basato su apprendimento possa servire come strumento operativo sia per l'addestramento sia per la valutazione in compiti da tavolo ricchi di contatti. Se questo valga anche per compiti più difficili e nuovi ambienti è la domanda a cui dovrà rispondere il prossimo ciclo di lavoro.