Environ 60 % des images d'entraînement utilisées par le robot domestique de l'équipe NimbRo pour la reconnaissance d'objets ont été annotées automatiquement, selon le responsable de l'équipe, Raphael Memmesheimer. Cette méthode a remporté le prix du meilleur article à la RoboCup 2026 et a aidé l'équipe à décrocher la troisième place de la compétition RoboCup@Home. L'article s'intitule « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ».
Le défi de la préparation en deux jours
Les équipes de RoboCup@Home disposent de deux jours de préparation avant le début de la compétition. Durant ce laps de temps, elles assemblent leurs robots et les installent dans un appartement témoin qu'elles n'ont jamais vu. Les robots ne savent rien de l'espace ni des objets qui s'y trouvent, et doivent apprendre à reconnaître des articles comme une cuillère ou une boisson précise.
L'ensemble d'objets peut atteindre 50 articles que l'équipe n'a jamais rencontrés. Les organisateurs achètent généralement des produits alimentaires locaux dans un centre commercial et les répartissent dans l'appartement : les boissons et les en-cas varient donc d'un site à l'autre. Certains objets proviennent du jeu de données public YCB, ce qui permet à l'équipe de collecter des données en amont et de réaliser un pré-entraînement sur de vastes jeux d'objets généraux. Pour le reste, l'anticipation est le plus souvent impossible.
Memmesheimer explique que l'équipe a étudié les approches à vocabulaire ouvert et constaté qu'elles peinaient à distinguer des objets au sein d'une même catégorie, comme les boissons. Selon lui, les modèles de détection et de segmentation pilotés par requête (« promptables ») fonctionnaient avec cinq à dix classes, mais ne passaient pas à l'échelle des quelque 50 classes de la compétition.
Comment fonctionne la méthode d'annotation
L'approche comporte plusieurs étapes. L'équipe commence par entraîner un modèle sur des objets que des robots ont rencontrés lors d'éditions précédentes de la compétition. Ce modèle apprend uniquement à signaler qu'un élément pourrait être un objet, au niveau de la segmentation.
L'équipe collecte ensuite des images de référence des objets réels et les annote de façon semi-automatique. La méthode associe le jugement générique qu'une région est un objet à une référence indiquant de quel objet il s'agit. Cela simplifie l'annotation et remplace de nombreuses heures d'étiquetage manuel pour les 60 % environ des données annotées automatiquement.
L'équipe a utilisé cette méthode à la RoboCup 2025 au Brésil et à la RoboCup GermanOpen. Pour la Coupe du monde 2026 en Corée, elle a étendu l'approche afin de générer davantage de données à partir de vidéos. Memmesheimer indique que le temps gagné permet à l'équipe de consacrer une plus grande part des jours de préparation au test des tâches plutôt qu'à la construction du modèle de vision.
Troisième place et nouvelle épreuve de lessive
L'équipe NimbRo a terminé troisième sur 24 équipes. Memmesheimer reconnaît que l'équipe a rencontré des problèmes, comme à chaque compétition. L'édition 2026 a ajouté une épreuve de lessive (« Doing Laundry »). Le robot devait détecter le hublot du lave-linge, trouver un point de préhension sur la poignée, ouvrir la porte, puis transporter un panier à linge de la machine jusqu'à une table de pliage. Il devait ensuite en sortir des t-shirts et les plier. Le robot ne voit pas à l'intérieur de la machine : il doit donc sentir au toucher s'il tient bien un t-shirt.
Selon Memmesheimer, le robot de NimbRo a été le plus performant sur cette épreuve. Il a ouvert le lave-linge et commencé à plier, ce qu'il attribue à l'annotation semi-automatique.
La compétition comprend quatre autres épreuves principales. Dans l'épreuve d'interaction homme-robot, le robot ouvre la porte aux invités d'une fête, les accueille, les guide vers un siège libre et les présente aux autres. Une épreuve de saisie et de dépose (« pick-and-place ») exigeait cette année de débarrasser une table de petit-déjeuner, de ranger couverts et pastille de lave-vaisselle dans le lave-vaisselle, de le fermer, puis de remettre la table. L'épreuve de service polyvalent soumet au robot une commande aléatoire en langage naturel. Dans l'épreuve du restaurant, le robot évolue dans un lieu inconnu dont seul le menu est communiqué à l'avance, et doit repérer les clients qui lui font signe et prendre les commandes vocales dans une salle bruyante. Les robots doivent aussi réussir une inspection de sécurité et d'interaction avant de pouvoir concourir.
La ligue était autrefois divisée en deux ligues à plateforme standard et une ligue à plateforme ouverte. Elles ont été fusionnées en une seule. L'équipe de Memmesheimer avait remporté la ligue à plateforme ouverte l'année où l'événement s'est tenu à Eindhoven.
Ce que cela change pour le secteur
L'article s'attaque à un goulot d'étranglement précis et concret. Un robot domestique qui a besoin d'un nouveau modèle de vision en deux jours est limité par la vitesse à laquelle il obtient des données annotées, et l'article cible directement cette étape. Le résultat annoncé : plus de la moitié des étiquettes proviennent de la chaîne automatisée.
La comparaison avec les modèles pilotés par requête est l'enseignement le plus instructif. L'équipe a constaté qu'ils fonctionnaient avec cinq à dix classes, mais ne tenaient pas face à une cinquantaine d'articles visuellement proches. Cela laisse penser qu'une chaîne ajustée et fondée sur des références garde l'avantage lorsqu'un robot doit distinguer des produits emballés quasi identiques. Il s'agit de l'évaluation de l'équipe elle-même, et la source ne fournit aucun chiffre de comparaison directe.
Plusieurs points restent à démontrer. La source ne rapporte aucun chiffre de précision : la qualité des annotations automatiques n'est donc pas quantifiée. La chaîne repose sur un modèle entraîné sur des objets de compétitions passées et sur des images de référence collectées pour chaque article, ce qui convient à une compétition au cadre connu. Sa tenue dans des foyers, où l'ensemble d'objets évolue sans limite, n'est pas démontrée. L'extension à partir de vidéos utilisée en Corée n'a pas non plus été décrite en détail.
Le résultat montre aussi à quel point la compétition dépasse la seule perception. NimbRo a dominé l'épreuve de lessive, mais a terminé troisième au classement général. Memmesheimer rappelle que les robots doivent naviguer, interagir avec des personnes, manipuler des objets et planifier leurs tâches, avec très peu d'essais. Une meilleure annotation raccourcit une partie du travail. Les prochaines étapes annoncées par l'équipe sont une saisie plus rapide d'objets variés et une meilleure manipulation à deux bras, ce qui indique où elle voit les lacunes restantes face au défi RoboCup@Home.