Una pulsera de ultrasonido desarrollada en el MIT rastrea en tiempo real los cinco dedos y la palma de la mano, y un usuario la ha empleado para que una mano robótica tocara una melodía sencilla en un piano. El dispositivo obtiene imágenes de los músculos, tendones y ligamentos de la muñeca y transmite de forma inalámbrica las posiciones de la mano resultantes a un robot o a un entorno virtual. Los resultados del equipo se publican en un artículo en Nature Electronics.
El trabajo está dirigido por Xuanhe Zhao, catedrático Uncas y Helen Whitaker de Ingeniería Mecánica del MIT, y por Gengxi Lu. Se trata de una forma de seguimiento de la mano mediante una pulsera de ultrasonido que no depende de cámaras ni de guantes con sensores.
Cómo la pulsera lee la mano
La pulsera incorpora un parche de ultrasonido del tamaño de un reloj inteligente, junto con una electrónica integrada de dimensiones similares a las de un teléfono móvil. El grupo de Zhao lleva tiempo desarrollando estos parches de ultrasonido, que son versiones miniaturizadas de los transductores que se usan en las consultas médicas, combinadas con un hidrogel que se adhiere a la piel de forma segura.
El principio se basa en la anatomía de la muñeca. "Los tendones y los músculos de la muñeca son como hilos que tiran de marionetas, que son los dedos", explica Lu. Observar el estado de esos hilos indica el estado de la mano.
Los dedos y el pulgar tienen 22 grados de libertad, es decir, formas distintas de extenderse o inclinarse. Los investigadores encontraron regiones en las imágenes de ultrasonido en blanco y negro que se correlacionan con cada uno de ellos. Los cambios en una región se relacionan, por ejemplo, con la extensión del pulgar, mientras que los de otra siguen el movimiento del dedo índice.
Entrenamiento del software
Para establecer esas relaciones, un voluntario se puso la pulsera y movió la mano en numerosas posiciones mientras varias cámaras registraban los gestos. Al comparar los cambios en las regiones de la imagen con las posiciones de la mano captadas por las cámaras, el equipo pudo etiquetar cada región con su grado de libertad.
Realizar esa traducción de forma continua y en tiempo real queda fuera de lo que las personas pueden hacer a mano, así que el equipo entrenó un algoritmo de IA con las imágenes etiquetadas. Lo probaron con un nuevo conjunto de imágenes de ultrasonido y predijo correctamente los gestos de la mano correspondientes.
Después, el equipo probó el dispositivo con ocho voluntarios con distintos tamaños de mano y muñeca. Los voluntarios realizaron gestos y agarres, entre ellos las señas de las 26 letras del alfabeto de la Lengua de Señas Estadounidense (ASL). También sostuvieron una pelota de tenis, una botella de plástico, unas tijeras y un lápiz. En todos los casos, la pulsera rastreó y predijo la posición de la mano.
Demostraciones con una mano robótica y una pantalla
En las pruebas con robot, la pulsera funcionó como controlador inalámbrico de una mano robótica comercial sencilla. Un voluntario hizo los movimientos de tocar un teclado y el robot los copió en tiempo real para interpretar una melodía en un piano. El mismo robot imitó toques de dedos para jugar a un juego de baloncesto de sobremesa.
El equipo también combinó la pulsera con un programa informático sencillo. Los gestos de pellizcar y agarrar permitieron acercar y alejar un objeto en pantalla y moverlo de forma fluida y continua.
Zhao planea reducir aún más el tamaño del hardware y entrenar el software con más gestos de voluntarios con una gama más amplia de tamaños y formas de mano. El grupo ya está recopilando datos de movimiento de la mano de más usuarios. Prevé un gran conjunto de datos que sirva para entrenar robots humanoides en tareas de destreza, como ciertos procedimientos quirúrgicos. El objetivo declarado es un rastreador vestible que cualquiera pueda usar para controlar robots humanoides u objetos virtuales.
Qué significa para el sector
La comparación con los métodos existentes es el motivo más claro para tomarse en serio este trabajo. Los sistemas de cámaras son poco prácticos de configurar para cada aplicación y son propensos a las oclusiones visuales. Los guantes con sensores pueden limitar el movimiento natural de la mano y la sensibilidad. Las señales eléctricas de los músculos de la muñeca o del antebrazo se ven afectadas por el ruido ambiental y pueden indicar si el pulgar y el índice están en pinza o separados, pero no gran parte de la trayectoria intermedia. El ultrasonido ve el tejido que mueve los dedos, y las demostraciones mostraron una salida continua en lugar de unos pocos estados discretos. Además, una pulsera en la muñeca deja los dedos libres para tocar objetos reales, algo que las pruebas con objetos sugieren que puede tolerar.
El argumento de los datos puede ser tan importante como el del control. Enseñar destreza a los robots humanoides requiere grandes volúmenes de movimientos de la mano humana. Una pulsera que se pueda llevar durante tareas cotidianas podría recopilar esos datos sin cámaras ni guantes. Es una vía plausible, aunque el equipo la presenta como un objetivo, no como algo que ya haya logrado.
Varios puntos siguen sin demostrarse. Las pruebas contaron con ocho voluntarios, mientras que el propio equipo reconoce que necesita datos de muchos más tamaños y formas de mano. El robot utilizado era una mano comercial sencilla, y las tareas fueron una breve melodía de piano y un juego de baloncesto de sobremesa. Eso demuestra que el seguimiento funciona como controlador, pero no que pueda guiar a un humanoide en trabajos de precisión como la cirugía. La fuente no ofrece cifras de error de seguimiento ni de latencia, por lo que la afirmación de precisión no se puede comparar numéricamente con los guantes ni con la detección eléctrica. El hardware, además, todavía debe reducirse. Zhao la considera la forma más avanzada de rastrear el movimiento diestro de la mano, pero eso se apoya en los resultados de su propio grupo, y solo pruebas independientes a mayor escala lo confirmarían.