Circa il 60% delle immagini di addestramento usate dal robot domestico del Team NimbRo per il riconoscimento degli oggetti è stato etichettato in modo automatico, secondo il responsabile del team, Raphael Memmesheimer. Il metodo ha vinto il premio come miglior paper a RoboCup 2026 e ha contribuito al terzo posto del team nella competizione RoboCup@Home. Il paper si intitola "Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation".
Il problema dei due giorni di preparazione
Le squadre di RoboCup@Home hanno a disposizione due giorni di preparazione prima dell'inizio della gara. In questo tempo assemblano i robot e li portano in un appartamento modello che non hanno mai visto. I robot non sanno nulla dello spazio né degli oggetti presenti, e devono imparare a riconoscere elementi come un cucchiaio o una bevanda specifica.
L'insieme di oggetti può arrivare a 50 elementi che il team non ha mai incontrato. Di solito gli organizzatori acquistano generi alimentari locali in un centro commerciale e li distribuiscono per l'appartamento, per cui le bevande e gli snack cambiano da una sede all'altra. Alcuni oggetti provengono dal dataset pubblico YCB: su questi il team può raccogliere dati in anticipo ed effettuare il pre-addestramento su grandi insiemi generici di oggetti. Per la maggior parte degli altri, però, non è possibile prepararsi.
Memmesheimer spiega che il team ha valutato gli approcci a vocabolario aperto (open-vocabulary) e ha riscontrato che faticavano a distinguere gli oggetti all'interno di una stessa categoria, come le bevande. I modelli di rilevamento e segmentazione basati su prompt funzionavano con cinque-dieci classi, afferma, ma non scalavano alle circa 50 classi previste dalla competizione.
Come funziona il metodo di etichettatura
L'approccio si articola in più fasi. Il team addestra prima un modello sugli oggetti visti dai robot nelle precedenti edizioni della competizione. Questo modello impara soltanto a segnalare che qualcosa potrebbe essere un oggetto, a livello di segmentazione.
Il team raccoglie poi immagini di riferimento degli oggetti reali e le etichetta in modo semiautomatico. Il metodo combina il giudizio generico che una regione sia un oggetto con un riferimento che mostra di quale oggetto si tratti. Questo semplifica l'etichettatura e sostituisce molte ore di annotazione manuale per il 60% circa dei dati, che viene etichettato automaticamente.
Il team ha utilizzato il metodo a RoboCup 2025 in Brasile e al RoboCup GermanOpen. Per il Mondiale 2026 in Corea ha esteso l'approccio per generare più dati a partire da video. Memmesheimer sostiene che il tempo risparmiato permette al team di dedicare più giornate di preparazione al collaudo dei compiti, anziché alla costruzione del modello di visione.
Terzo posto e una nuova prova di bucato
Il Team NimbRo si è classificato terzo su 24 squadre. Memmesheimer racconta che il team ha avuto dei problemi, come a ogni competizione. L'edizione 2026 ha introdotto una prova di bucato (Doing Laundry). Il robot doveva individuare lo sportello della lavatrice, trovare un punto di presa sulla maniglia, aprire lo sportello e trasportare un cesto del bucato dalla macchina a un tavolo per piegare. Doveva poi estrarre le magliette e piegarle. Il robot non vede all'interno della lavatrice, quindi deve capire al tatto se ha in mano una maglietta.
Secondo Memmesheimer, il robot di NimbRo ha ottenuto le migliori prestazioni in questa prova. Ha aperto la lavatrice e ha iniziato a piegare, risultato che lui attribuisce all'etichettatura semiautomatica.
La competizione prevede altre quattro prove principali. Nella prova di interazione uomo-robot, il robot apre la porta agli ospiti di una festa, li saluta, li accompagna a un posto libero e li presenta agli altri. Una prova di pick-and-place quest'anno richiedeva di sparecchiare un tavolo della colazione, caricare le posate e una pastiglia per lavastoviglie nella lavastoviglie, chiuderla e riapparecchiare il tavolo. La prova di servizio generico assegna al robot un comando casuale in linguaggio naturale. Nella prova del ristorante, il robot opera in un locale sconosciuto di cui conosce in anticipo solo il menu, e deve individuare i clienti che fanno cenno con la mano e raccogliere ordini vocali in un ambiente rumoroso. I robot devono inoltre superare un'ispezione di sicurezza e interazione prima di poter gareggiare.
In passato la lega era divisa in due leghe a piattaforma standard e in una lega a piattaforma aperta. Queste sono state unificate in un'unica lega. Il team di Memmesheimer ha vinto la lega a piattaforma aperta nell'anno in cui l'evento si è svolto a Eindhoven.
Cosa significa per il settore
Il paper affronta un collo di bottiglia circoscritto e concreto. Un robot domestico che ha bisogno di un nuovo modello di visione nel giro di due giorni è limitato dalla rapidità con cui riesce a ottenere dati etichettati, e il lavoro interviene direttamente su questo passaggio. Il risultato dichiarato è che più della metà delle etichette proviene dalla pipeline automatizzata.
Il confronto con i modelli basati su prompt è il punto più interessante. Il team ha osservato che funzionavano con cinque-dieci classi e non reggevano con circa 50 oggetti visivamente simili. Ciò suggerisce che una pipeline mirata e basata su riferimenti mantenga un vantaggio quando un robot deve distinguere prodotti confezionati quasi identici. Si tratta della valutazione del team stesso, e la fonte non fornisce cifre di confronto diretto.
Restano diversi aspetti non dimostrati. La fonte non riporta valori di accuratezza, quindi la qualità delle etichette automatiche non è quantificata. La pipeline si basa su un modello addestrato su oggetti delle passate competizioni e su immagini di riferimento raccolte per ogni articolo, soluzione adatta a una gara con un setup noto. Non è dimostrato se reggerebbe nelle case reali, dove l'insieme di oggetti è mutevole e illimitato. Anche l'estensione basata sui video usata in Corea non è stata descritta in dettaglio.
Il risultato mostra anche quanta parte della competizione esuli dalla percezione. NimbRo è stato il migliore nella prova del bucato, eppure ha chiuso al terzo posto assoluto. Memmesheimer osserva che i robot devono navigare, interagire con le persone, manipolare oggetti e pianificare i compiti, con pochissimi tentativi a disposizione. Un'etichettatura migliore accorcia una parte del lavoro. I prossimi obiettivi dichiarati dal team sono una presa più rapida di oggetti diversi e una migliore manipolazione a due bracci, il che indica dove vede le lacune ancora aperte nella sfida di RoboCup@Home.