Alrededor del 60 % de las imágenes de entrenamiento que el robot doméstico del equipo NimbRo usó para el reconocimiento de objetos se etiquetó de forma automática, según Raphael Memmesheimer, líder del equipo. El método ganó el premio al mejor artículo en RoboCup 2026 y ayudó al equipo a terminar en tercer lugar en la competición RoboCup@Home. El artículo se titula "Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation".
El problema de dos días de preparación
Los equipos de RoboCup@Home disponen de dos días de preparación antes de que empiece la competición. En ese tiempo montan sus robots y los llevan a un apartamento modelo que no han visto antes. Los robots no saben nada del espacio ni de los objetos que contiene, y deben aprender a reconocer elementos como una cuchara o una bebida concreta.
El conjunto de objetos puede llegar a 50 artículos que el equipo nunca ha visto. Los organizadores suelen comprar productos de supermercado locales en un centro comercial y los reparten por el apartamento, así que los detalles de bebidas y snacks cambian de una sede a otra. Algunos objetos proceden del conjunto de datos público YCB, sobre los que el equipo puede recopilar datos con antelación y preentrenar con grandes conjuntos generales de objetos. La mayoría del resto no se puede prever.
Memmesheimer explica que el equipo estudió enfoques de vocabulario abierto y comprobó que les costaba distinguir objetos dentro de una misma categoría, como las bebidas. Según él, los modelos de detección y segmentación basados en prompts funcionaban con entre cinco y diez clases, pero no escalaban a las aproximadamente 50 clases que implica la competición.
Cómo funciona el método de etiquetado
El enfoque consta de varias etapas. Primero, el equipo entrena un modelo con objetos que los robots vieron en ediciones anteriores de la competición. Ese modelo solo aprende a señalar que algo podría ser un objeto, a nivel de segmentación.
Después, el equipo recopila imágenes de referencia de los objetos reales y las etiqueta de forma semiautomática. El método combina el criterio genérico de que una región es un objeto con una referencia que indica de qué objeto se trata. Esto simplifica el etiquetado y sustituye muchas horas de anotación manual en el 60 % aproximado de los datos que se etiqueta automáticamente.
El equipo utilizó el método en RoboCup 2025 en Brasil y en el RoboCup GermanOpen. Para el Mundial de 2026 en Corea, amplió el enfoque para generar más datos a partir de vídeos. Memmesheimer afirma que el tiempo ahorrado permite al equipo dedicar más de los días de preparación a probar tareas en lugar de construir el modelo de visión.
Tercer puesto y una nueva tarea de colada
El equipo NimbRo terminó tercero entre 24 equipos. Memmesheimer reconoce que tuvieron problemas, como en cada competición. La edición de 2026 incorporó una tarea de lavandería (Doing Laundry). El robot debía detectar la puerta de la lavadora, encontrar un punto de agarre en la manija, abrir la puerta y llevar un cesto de ropa desde la máquina hasta una mesa de planchado y doblado. Después tenía que sacar camisetas y doblarlas. El robot no puede ver el interior de la lavadora, por lo que debe notar al tacto si tiene una camiseta en la mano.
Memmesheimer asegura que el robot de NimbRo fue el que mejor se desempeñó en esta tarea. Abrió la lavadora y empezó a doblar, algo que atribuye al etiquetado semiautomático.
La competición incluye otras cuatro tareas principales. En la de interacción humano-robot, el robot abre la puerta a los invitados de una fiesta, los saluda, los guía hasta un asiento libre y los presenta a otras personas. Este año, la tarea de recoger y colocar exigía recoger la mesa del desayuno, cargar los cubiertos y una pastilla de lavavajillas en el lavavajillas, cerrarlo y volver a poner la mesa. La tarea de servicio de propósito general le da al robot una orden aleatoria en lenguaje natural. En la tarea del restaurante, el robot trabaja en un local desconocido del que solo se conoce de antemano el menú, y debe localizar a los clientes que levantan la mano y tomar pedidos por voz en una sala ruidosa. Además, los robots deben superar una inspección de seguridad e interacción antes de poder competir.
La liga estuvo dividida en su día en dos ligas de plataforma estándar y una liga de plataforma abierta. Se han fusionado en una sola. El equipo de Memmesheimer ganó la liga de plataforma abierta el año en que el evento se celebró en Eindhoven.
Qué significa esto para el sector
El artículo aborda un cuello de botella concreto y práctico. Un robot doméstico que necesita un nuevo modelo de visión en dos días está limitado por la rapidez con la que consigue datos etiquetados, y el trabajo apunta directamente a ese paso. El resultado comunicado es que más de la mitad de las etiquetas proviene de la canalización automatizada.
La comparación con los modelos basados en prompts es el dato más revelador. El equipo comprobó que funcionaban con entre cinco y diez clases y que no resistían con unos 50 objetos visualmente parecidos. Eso sugiere que una canalización ajustada y basada en referencias sigue teniendo ventaja cuando un robot debe distinguir productos envasados casi idénticos. Es una valoración del propio equipo, y la fuente no ofrece cifras comparativas directas.
Varias cuestiones siguen sin demostrarse. La fuente no aporta cifras de precisión, por lo que la calidad de las etiquetas automáticas no está cuantificada. La canalización depende de un modelo entrenado con objetos de competiciones anteriores y de imágenes de referencia recopiladas para cada artículo, algo que encaja con una competición de configuración conocida. No se demuestra si funcionaría en hogares con un conjunto de objetos cambiante e ilimitado. Tampoco se ha descrito en detalle la ampliación basada en vídeo que se usó en Corea.
El resultado también muestra cuánto de la competición queda fuera de la percepción. NimbRo destacó en la lavandería, pero terminó tercero en la general. Memmesheimer señala que los robots deben navegar, interactuar con personas, manipular objetos y planificar tareas, con muy pocos intentos. Un mejor etiquetado acorta una parte del trabajo. Los próximos pasos que se marca el equipo son recoger con más rapidez objetos variados y mejorar la manipulación con dos brazos, lo que indica dónde ve las carencias que aún quedan en el desafío de RoboCup@Home.