Un bracelet à ultrasons conçu au MIT suit en temps réel les cinq doigts et la paume, et un porteur s'en est servi pour faire jouer un air simple au piano à une main robotique. Le dispositif image les muscles, les tendons et les ligaments du poignet, puis transmet sans fil les positions de la main à un robot ou à un environnement virtuel. Les résultats de l'équipe sont publiés dans un article de Nature Electronics.
Ces travaux sont dirigés par Xuanhe Zhao, professeur de génie mécanique (chaire Uncas et Helen Whitaker) au MIT, et par Gengxi Lu. Il s'agit d'une méthode de suivi de la main par bracelet à ultrasons, qui ne nécessite ni caméras ni gants à capteurs.
Comment le bracelet lit la main
Le bracelet est équipé d'un patch à ultrasons de la taille d'une montre connectée, ainsi que d'une électronique embarquée à peine plus grosse qu'un téléphone portable. Le groupe de Zhao développe depuis un certain temps des patchs à ultrasons. Ce sont des versions miniaturisées des transducteurs utilisés dans les cabinets médicaux, associées à un hydrogel qui adhère à la peau sans danger.
Le principe repose sur l'anatomie du poignet. « Les tendons et les muscles de votre poignet sont comme des fils qui actionnent des marionnettes, c'est-à-dire vos doigts », explique Gengxi Lu. Observer l'état de ces fils renseigne sur l'état de la main.
Les doigts et le pouce offrent 22 degrés de liberté, c'est-à-dire autant de façons distinctes de s'étendre ou de s'incliner. Les chercheurs ont repéré, dans les images échographiques en noir et blanc, des zones qui correspondent à chacun d'eux. Les variations dans une zone sont liées à l'extension du pouce, par exemple, tandis que celles d'une autre suivent le mouvement de l'index.
Entraîner le logiciel
Pour établir ces correspondances, un volontaire a porté le bracelet et fait passer sa main par de nombreuses positions pendant que plusieurs caméras enregistraient les gestes. En associant les variations des zones de l'image aux positions de la main captées par les caméras, l'équipe a pu étiqueter chaque zone avec son degré de liberté.
Effectuer cette traduction en continu et en temps réel dépasse ce que l'on peut faire à la main : l'équipe a donc entraîné un algorithme d'IA sur les images étiquetées. Testé sur un nouvel ensemble d'images échographiques, il a prédit correctement les gestes de la main correspondants.
L'équipe a ensuite testé le dispositif sur huit volontaires aux tailles de main et de poignet différentes. Les participants ont réalisé des gestes et des prises, dont les signes des 26 lettres de la langue des signes américaine. Ils ont aussi tenu une balle de tennis, une bouteille en plastique, des ciseaux et un crayon. Dans tous les cas, le bracelet a suivi et prédit la position de la main.
Démonstrations avec une main robotique et un écran
Lors des essais avec un robot, le bracelet a servi de télécommande sans fil pour une main robotique du commerce, de conception simple. Un volontaire mimait le jeu sur un clavier, et le robot reproduisait ses gestes en temps réel pour jouer un air au piano. Le même robot a imité des tapotements de doigts pour jouer à un jeu de basket de bureau.
L'équipe a également associé le bracelet à un programme informatique simple. Des gestes de pincement et de saisie ont permis de zoomer et de dézoomer sur un objet à l'écran et de le déplacer de façon fluide et continue.
Xuanhe Zhao prévoit de réduire encore la taille du matériel et d'entraîner le logiciel sur davantage de gestes, avec des volontaires aux mains de tailles et de formes plus variées. Le groupe collecte déjà des données de mouvement de la main auprès d'un plus grand nombre d'utilisateurs. Il envisage un vaste jeu de données qui servirait à entraîner des robots humanoïdes à des tâches de dextérité, comme certaines interventions chirurgicales. L'objectif affiché est un dispositif de suivi portable que chacun pourrait utiliser pour piloter des robots humanoïdes ou des objets virtuels.
Ce que cela change pour le secteur
La comparaison avec les méthodes existantes est la meilleure raison de prendre ces travaux au sérieux. Les systèmes à caméras sont peu pratiques à installer pour chaque application et sensibles aux occultations visuelles. Les gants à capteurs peuvent entraver la liberté des mouvements et le toucher. Les signaux électriques des muscles du poignet ou de l'avant-bras sont perturbés par le bruit ambiant et permettent de savoir si le pouce et l'index sont pincés ou écartés, mais guère de connaître la trajectoire intermédiaire. Les ultrasons observent le tissu qui actionne les doigts, et les démonstrations ont montré une sortie continue plutôt que quelques états discrets. Un bracelet porté au poignet laisse en outre les doigts libres de toucher de vrais objets, ce que les essais de préhension laissent penser qu'il tolère.
L'argument des données pourrait compter autant que celui du pilotage. Apprendre la dextérité aux robots humanoïdes exige de grands volumes de mouvements de la main humaine. Un bracelet porté pendant des tâches ordinaires pourrait recueillir ces données sans caméras ni gants. La piste est plausible, même si l'équipe la présente comme un objectif et non comme une étape déjà franchie.
Plusieurs points restent à démontrer. Les tests ont porté sur huit volontaires, alors que l'équipe reconnaît elle-même avoir besoin de données issues de bien plus de tailles et de formes de mains. Le robot utilisé était une main du commerce de conception simple, et les tâches se limitaient à un court air de piano et à un jeu de basket de bureau. Cela montre que le suivi fonctionne comme commande, mais pas qu'il puisse piloter un humanoïde dans un travail de précision comme la chirurgie. La source ne donne aucun chiffre sur l'erreur de suivi ni sur la latence : la revendication de précision ne peut donc pas être comparée chiffres à l'appui aux gants ou à la détection électrique. Le matériel doit par ailleurs encore être miniaturisé. Xuanhe Zhao présente cette technique comme la plus avancée pour suivre les mouvements fins de la main, mais cela repose sur les résultats de son propre groupe, et seuls des tests indépendants à plus grande échelle permettraient de trancher.