Un braccialetto a ultrasuoni sviluppato al MIT traccia in tempo reale tutte e cinque le dita e il palmo della mano, e una persona che lo indossava lo ha usato per far suonare a una mano robotica un semplice motivo al pianoforte. Il dispositivo osserva muscoli, tendini e legamenti del polso e trasmette senza fili le posizioni della mano a un robot o a un ambiente virtuale. I risultati del team sono pubblicati in un articolo su Nature Electronics.
Il lavoro è guidato da Xuanhe Zhao, titolare della cattedra Uncas e Helen Whitaker di Ingegneria meccanica al MIT, e da Gengxi Lu. Si tratta di una forma di tracciamento della mano con braccialetto a ultrasuoni che non si affida a telecamere né a guanti sensorizzati.
Come il braccialetto legge la mano
Il braccialetto integra un adesivo a ultrasuoni grande quanto uno smartwatch, insieme a un'elettronica di bordo compatta all'incirca come uno smartphone. Il gruppo di Zhao sviluppa da tempo questi adesivi a ultrasuoni: sono versioni miniaturizzate dei trasduttori usati negli studi medici, abbinate a un idrogel che aderisce alla pelle in modo sicuro.
Il principio si basa sull'anatomia del polso. "I tendini e i muscoli del polso sono come fili che tirano dei burattini, ovvero le dita", spiega Lu. Osservare lo stato di quei fili permette di capire lo stato della mano.
Le dita e il pollice hanno 22 gradi di libertà, cioè modi distinti di estendersi o di inclinarsi. I ricercatori hanno individuato nelle immagini a ultrasuoni in bianco e nero alcune regioni che si correlano a ciascuno di essi. Le variazioni in una regione, per esempio, sono legate all'estensione del pollice, mentre quelle in un'altra seguono il movimento dell'indice.
L'addestramento del software
Per stabilire questi legami, un volontario ha indossato il braccialetto e ha mosso la mano in molte posizioni mentre più telecamere registravano i gesti. Associando le variazioni nelle regioni dell'immagine alle posizioni della mano riprese dalle telecamere, il team ha potuto etichettare ogni regione con il relativo grado di libertà.
Eseguire questa traduzione in modo continuo e in tempo reale è fuori della portata di un operatore umano, per cui il team ha addestrato un algoritmo di intelligenza artificiale sulle immagini etichettate. Lo ha poi messo alla prova su un nuovo insieme di immagini a ultrasuoni, e l'algoritmo ha previsto correttamente i gesti della mano corrispondenti.
Il team ha quindi provato il dispositivo su otto volontari con mani e polsi di dimensioni diverse. I volontari hanno eseguito gesti e prese, compresi i segni di tutte le 26 lettere della lingua dei segni americana (ASL). Hanno anche impugnato una pallina da tennis, una bottiglia di plastica, un paio di forbici e una matita. In ogni caso il braccialetto ha tracciato e previsto la posizione della mano.
Dimostrazioni con una mano robotica e uno schermo
Nei test con il robot, il braccialetto ha funzionato da controller wireless per una semplice mano robotica commerciale. Un volontario ha simulato i movimenti di chi suona una tastiera, e il robot li ha riprodotti in tempo reale suonando un motivo al pianoforte. Lo stesso robot ha imitato i tocchi delle dita per giocare a un gioco di basket da scrivania.
Il team ha anche abbinato il braccialetto a un semplice programma per computer. I gesti di pinch e di presa permettevano di ingrandire e rimpicciolire un oggetto sullo schermo e di spostarlo in modo fluido e continuo.
Zhao intende ridurre ulteriormente l'hardware e addestrare il software su un numero maggiore di gesti, raccolti da volontari con mani di dimensioni e forme più varie. Il gruppo sta già raccogliendo dati sui movimenti della mano da più utenti. Immagina un grande dataset che possa servire ad addestrare robot umanoidi in compiti di destrezza, come alcune procedure chirurgiche. L'obiettivo dichiarato è un tracker indossabile che chiunque possa usare per controllare robot umanoidi o oggetti virtuali.
Cosa significa per il settore
Il confronto con i metodi esistenti è il motivo più chiaro per prendere sul serio questo lavoro. I sistemi a telecamera sono poco pratici da configurare per ogni applicazione e soffrono le occlusioni visive. I guanti sensorizzati possono limitare il movimento naturale della mano e la sensibilità tattile. I segnali elettrici dei muscoli del polso o dell'avambraccio risentono del rumore ambientale e possono indicare se pollice e indice sono uniti o separati, ma poco di ciò che accade nel mezzo. Gli ultrasuoni vedono invece il tessuto che muove le dita, e le dimostrazioni hanno mostrato un output continuo anziché pochi stati discreti. Inoltre, una fascia al polso lascia le dita libere di toccare oggetti reali, cosa che i test di presa suggeriscono sia tollerata.
L'argomento dei dati potrebbe contare quanto quello del controllo. Insegnare la destrezza ai robot umanoidi richiede grandi quantità di movimenti della mano umana. Una fascia che si può indossare durante le attività quotidiane potrebbe raccogliere questi dati senza telecamere né guanti. È una strada plausibile, anche se il team la descrive come un obiettivo e non come qualcosa che ha già realizzato.
Restano diversi punti da dimostrare. I test hanno coinvolto otto volontari, mentre il team stesso afferma di aver bisogno di dati da molte più dimensioni e forme di mano. Il robot usato era una semplice mano commerciale, e i compiti consistevano in un breve motivo al pianoforte e in un gioco di basket da scrivania. Questi test mostrano che il tracciamento funziona come controller, ma non che possa guidare un umanoide in lavori di precisione come la chirurgia. La fonte non fornisce cifre su errore di tracciamento o latenza, quindi l'affermazione sulla precisione non può essere confrontata numericamente con i guanti o con il rilevamento elettrico. Anche l'hardware deve ancora rimpicciolirsi. Zhao lo definisce il modo più avanzato per tracciare il movimento destro della mano, ma l'affermazione poggia sui risultati del suo stesso gruppo, e solo test indipendenti su scala più ampia potranno confermarla.