Políticas de aprendizaje por imitación entrenadas con un 0 % de datos del mundo real y un 100 % de datos generados se desplegaron directamente en un robot real, y completaron sus tareas. Los datos provenían de un Interactive World Simulator, un simulador de mundo para robots basado en aprendizaje que predice fotogramas de cámara a partir de las acciones del robot, sin ningún motor de física en su interior.
El modelo funciona de forma interactiva. Un operador puede conectar un dispositivo de teleoperación y controlar el robot a través del modelo aprendido durante más de 10 minutos a 15 fotogramas por segundo en una sola GPU RTX 4090. Durante todo ese tiempo, el vídeo predicho se mantiene estable y físicamente plausible.
El problema que aborda
La receta estándar en el aprendizaje robótico consta de dos etapas lentas. Los investigadores recopilan cientos de demostraciones de expertos con un robot real, entrenan con ellas una política de aprendizaje por imitación y luego la evalúan ejecutándola muchas veces en el mismo hardware. Ambas etapas son costosas y difíciles de reproducir. El hardware se avería, la iluminación cambia, los objetos se desplazan de su sitio y cada tarea nueva suma horas de laboratorio.
Los simuladores de física clásicos son una alternativa, pero cada tarea nueva exige modelar a mano la geometría, los contactos, la fricción y la deformación. Aun así, el simulador a menudo no se parece lo bastante a la realidad como para que las políticas entrenadas en él se transfieran bien.
El Interactive World Simulator sigue otro camino. A partir de la imagen actual y de una secuencia de acciones del robot, predice los siguientes fotogramas exclusivamente en el espacio de píxeles. Si las predicciones son lo bastante fieles, se pueden recopilar demostraciones dentro del modelo y evaluar muchas políticas en condiciones idénticas.
Cómo se construyó y qué abarca
El entrenamiento se realiza en dos etapas. Primero, un autoencoder comprime imágenes RGB en representaciones latentes 2D compactas y las reconstruye de nuevo como imágenes. Así, el modelo trabaja en un espacio de menor dimensión sin dejar de generar una salida a nivel de píxel.
En la segunda etapa, el autoencoder se congela y se entrena un modelo de dinámica condicionado por acciones en el espacio latente. A partir de latentes visuales pasados y de acciones del robot, predice el siguiente estado latente, que se decodifica en una imagen. En la inferencia, el proceso se repite de forma autorregresiva: los fotogramas predichos pasan a ser el contexto de la siguiente predicción. Predecir en el espacio latente con modelos de consistencia es lo que permite que el simulador funcione de forma interactiva y se mantenga estable en horizontes largos.
El modelo se entrenó con cuatro tareas de manipulación que abarcan distintos regímenes físicos: empuje de una pieza en T, que implica contacto entre cuerpos rígidos; guiado de una cuerda, donde una cuerda deformable interactúa con una pinza rígida; agarre de una taza, que depende de la dinámica fina de la pinza; y barrido de montones, que involucra pilas de objetos. Los cuatro comportamientos se aprendieron únicamente a partir de datos de interacción, sin ningún conocimiento previo de física codificado a mano.
En el guiado de la cuerda, el modelo distingue entre la cuerda que se inserta en la pinza y la que pasa de largo sin contacto. No favorece ninguno de los dos resultados y sigue lo que implican las acciones. En el agarre de la taza, reproduce cómo la taza se escurre de la pinza y cómo el asa es empujada y girada. En el barrido de montones, genera vídeo coherente desde varios puntos de vista.
Dos aplicaciones puestas a prueba
Para la generación de datos, las demostraciones se recopilaron por completo dentro del simulador. Las políticas de aprendizaje por imitación entrenadas con esos datos se desplegaron en el robot real. Según los desarrolladores, las políticas se mantuvieron robustas ante perturbaciones humanas continuas, lo que interpretan como prueba de que los datos generados tienen una calidad comparable a la de los datos reales.
Para la evaluación, se ejecutaron cuatro tipos de política tanto dentro del simulador como en el robot real, partiendo de las mismas configuraciones iniciales: DP, ACT, π0 y π0.5. Cada punto de datos es un checkpoint de política puntuado en ambos entornos. Los desarrolladores informan de una fuerte correlación entre las dos puntuaciones, tanto entre tareas como entre políticas. Las políticas que tuvieron éxito en el simulador también lo tuvieron en el robot real, y las que fallaron en uno fallaron en el otro.
Los desarrolladores afirman que los enfoques existentes se quedan cortos en al menos un aspecto. Muchos métodos de generación de vídeo y de modelos de mundo no están condicionados explícitamente por las acciones del robot, son demasiado lentos para la interacción en tiempo real, son de código cerrado o se vuelven inestables en simulaciones largas. El nuevo modelo pretende resolver los dos últimos problemas, la estabilidad y la eficiencia computacional, con hardware de consumo.
Entre los próximos pasos figura extender el marco a entornos más diversos y a tareas de manipulación más complejas. Los desarrolladores señalan también como línea abierta cómo escala el rendimiento del modelo de mundo con más datos de interacción y más cómputo.
Análisis: qué implica y qué sigue sin demostrarse
La relevancia práctica está en el hardware y en el bucle de trabajo. Una sola GPU de consumo es un listón bajo comparado con una celda robótica, y funcionar a 15 FPS durante más de 10 minutos significa que una persona puede teleoperar dentro del modelo igual que lo haría con un robot real. Eso permite recopilar demostraciones y comparar checkpoints sin tener que reorganizar una escena física.
El resultado de evaluación podría importar más que el de datos. La selección de checkpoints es un coste diario en el aprendizaje por imitación, y un indicador sustituto que ordene las políticas igual que lo hace el robot real eliminaría buena parte de ese coste. El conjunto de comparación también es razonable: abarca una política de tipo difusión, una basada en transformers y dos modelos de visión-lenguaje-acción, de modo que la correlación no se limita a una sola familia de políticas.
La comparación con los simuladores de física es un compromiso, no una sustitución. Un modelo aprendido evita modelar a mano la geometría, los contactos y la fricción, pero hereda lo que cubran sus datos de entrenamiento. El simulador se entrenó con datos de interacción de robots reales, por lo que sigue habiendo cierta recopilación de datos reales en el origen. El resultado de cero datos reales describe la etapa de entrenamiento de la política, no toda la cadena de trabajo.
Con el material disponible, varias cuestiones siguen sin demostrarse. No se facilitan tasas de éxito, coeficientes de correlación ni número de demostraciones, así que no puede valorarse la magnitud de la coincidencia entre las puntuaciones simuladas y las reales. Las pruebas cubren cuatro tareas sobre mesa, y los propios desarrolladores citan entornos más diversos y tareas más complejas como trabajo futuro. La estabilidad en horizontes largos se documenta para más de 10 minutos, pero no se indica cómo se comporta el modelo cuando las acciones lo llevan muy lejos de su distribución de entrenamiento. Por último, cómo escala el rendimiento con los datos y el cómputo queda explícitamente abierto.
El resultado es un caso creíble de que un simulador de mundo para robots basado en aprendizaje puede servir como herramienta de trabajo tanto para entrenar como para evaluar en tareas de mesa con mucho contacto. Si se sostiene en tareas más difíciles y en entornos nuevos es la pregunta que debe responder la próxima ronda de trabajo.