Luva robótica que ‘sente’ dá uma ‘mão’ para reaprender a tocar piano após um derrame – Strong The One

Uma luva robótica inédita está dando uma “mãozinha” e dando esperança aos pianistas que sofreram um derrame incapacitante. Desenvolvido por pesquisadores da Faculdade de Engenharia e Ciência da Computação da Florida Atlantic University, o exoesqueleto de mão robótica macia usa inteligência artificial para melhorar a destreza das mãos.

Combinando sensores táteis flexíveis, atuadores suaves e IA, esta luva robótica é a primeira a “sentir” a diferença entre as versões corretas e incorretas da mesma música e a combinar esses recursos em um único exoesqueleto de mão.

“Tocar piano requer movimentos complexos e altamente qualificados, e reaprender tarefas envolve a restauração e retreinamento de movimentos ou habilidades específicas”, disse Erik Engeberg, Ph.D., autor sênior, professor do Departamento de Engenharia Mecânica e Oceânica da FAU no Faculdade de Engenharia e Ciência da Computação e membro do Centro de Sistemas Complexos e Ciências do Cérebro da FAU e do Instituto do Cérebro Stiles-Nicholson da FAU. “Nossa luva robótica é composta de materiais e sensores macios e flexíveis que fornecem suporte e assistência suaves para os indivíduos reaprenderem e recuperarem suas habilidades motoras”.

Os pesquisadores integraram matrizes de sensores especiais em cada ponta do dedo da luva robótica. Ao contrário dos exoesqueletos anteriores, esta nova tecnologia fornece força e orientação precisas na recuperação dos movimentos finos dos dedos necessários para tocar piano. Ao monitorar e responder aos movimentos dos usuários, a luva robótica oferece feedback e ajustes em tempo real, facilitando a compreensão das técnicas corretas de movimento.

Para demonstrar as capacidades da luva robótica, os pesquisadores a programaram para sentir a diferença entre as versões corretas e incorretas da conhecida música “Mary Had a Little Lamb”, tocada no piano. Para introduzir variações na execução, eles criaram um pool de 12 tipos diferentes de erros que poderiam ocorrer no início ou no final de uma nota, ou devido a erros de temporização prematuros ou atrasados, e que persistiam por 0,1, 0,2 ou 0,3 segundos. Dez variações de músicas diferentes consistiam em três grupos de três variações cada, mais a música correta tocada sem erros.

Para classificar as variações de música, os algoritmos Random Forest (RF), K-Nearest Neighbor (KNN) e Artificial Neural Network (ANN) foram treinados com dados dos sensores táteis na ponta dos dedos. Sentir as diferenças entre as versões corretas e incorretas da música foi feito com a luva robótica de forma independente e usada por uma pessoa. A precisão desses algoritmos foi comparada para classificar as variações de música corretas e incorretas com e sem o sujeito humano.

Resultados do estudo, publicados na revista Fronteiras em Robótica e IA, demonstrou que o algoritmo ANN teve a maior precisão de classificação de 97,13% com o sujeito humano e 94,60% sem o sujeito humano. O algoritmo determinou com sucesso o erro percentual de uma determinada música, bem como identificou as teclas pressionadas que estavam fora do tempo. Essas descobertas destacam o potencial da luva robótica inteligente para ajudar indivíduos com deficiência a reaprender tarefas hábeis, como tocar instrumentos musicais.

Os pesquisadores projetaram a luva robótica usando stents de ácido polivinílico impressos em 3D e fundição de hidrogel para integrar cinco atuadores em um único dispositivo vestível que se ajusta à mão do usuário. O processo de fabricação é novo e o fator de forma pode ser personalizado para a anatomia única de pacientes individuais com o uso da tecnologia de escaneamento 3D ou tomografia computadorizada.

“Nosso projeto é significativamente mais simples do que a maioria dos projetos, pois todos os atuadores e sensores são combinados em um único processo de moldagem”, disse Engeberg. “É importante ressaltar que, embora a aplicação deste estudo fosse para tocar uma música, a abordagem pode ser aplicada a inúmeras tarefas da vida diária e o dispositivo pode facilitar programas de reabilitação complexos personalizados para cada paciente”.

Os médicos podem usar os dados para desenvolver planos de ação personalizados para identificar as fraquezas do paciente, que podem se apresentar como seções da música que são tocadas erroneamente de forma consistente e podem ser usadas para determinar quais funções motoras precisam ser melhoradas. À medida que os pacientes progridem, músicas mais desafiadoras podem ser prescritas pela equipe de reabilitação em uma progressão semelhante a um jogo para fornecer um caminho personalizável para a melhoria.

“A tecnologia desenvolvida pelo professor Engeberg e pela equipe de pesquisa é realmente um divisor de águas para indivíduos com distúrbios neuromusculares e redução da funcionalidade dos membros”, disse Stella Batalama, Ph.D., reitora da Faculdade de Engenharia e Ciência da Computação da FAU. “Embora outros atuadores robóticos macios tenham sido usados ​​para tocar piano, nossa luva robótica é a única que demonstrou a capacidade de ‘sentir’ a diferença entre versões corretas e incorretas da mesma música.”

Os co-autores do estudo são Maohua Lin, primeiro autor e Ph.D. estudante; Rudy Paul, um estudante de pós-graduação; e Moaed Abd, Ph.D., recém-formado; todos da Faculdade de Engenharia e Informática da FAU; James Jones, Universidade Estadual de Boise; Darryl Dieujuste, assistente de pós-graduação da Faculdade de Engenharia e Computação da FAU; e Harvey Chim, MD, professor da Divisão de Cirurgia Plástica e Reconstrutiva da Universidade da Flórida.

Esta pesquisa foi apoiada pelo Instituto Nacional de Imagem Biomédica e Bioengenharia dos Institutos Nacionais de Saúde (NIH), do Instituto Nacional do Envelhecimento do NIH e da National Science Foundation. Esta pesquisa foi apoiada em parte por uma bolsa inicial da Faculdade de Engenharia e Ciência da Computação da FAU e do Instituto FAU de Sensoriamento e Engenharia de Sistemas de Redes Embarcadas (I-SENSE).