.
Uma equipe liderada pelo Institut de Ciències del Mar (ICM-CSIC) em Barcelona em colaboração com o Monterey Bay Aquarium Research Institute (MBARI) na Califórnia, a Universitat Politècnica de Catalunya (UPC) e a Universitat de Girona (UdG), comprova pela primeira vez esse aprendizado por reforço – ou seja, uma rede neural que aprende a melhor ação a ser executada a cada momento com base em uma série de recompensas – permite que veículos autônomos e robôs subaquáticos localizem e rastreiem cuidadosamente objetos e animais marinhos. Os detalhes são relatados em um artigo publicado na revista Ciência Robótica.
Atualmente, a robótica subaquática surge como uma ferramenta fundamental para aprimorar o conhecimento dos oceanos diante das inúmeras dificuldades em explorá-los, com veículos capazes de descer a profundidades de até 4.000 metros. Além disso, o no local os dados que eles fornecem ajudam a complementar outros dados, como os obtidos de satélites. Essa tecnologia permite estudar fenômenos de pequena escala, como o CO2 captura por organismos marinhos, o que ajuda a regular as mudanças climáticas.
Especificamente, este novo trabalho revela que o aprendizado por reforço, amplamente utilizado no campo de controle e robótica, bem como no desenvolvimento de ferramentas relacionadas ao processamento de linguagem natural, como o ChatGPT, permite que robôs subaquáticos aprendam quais ações realizar em um determinado momento. para atingir um objetivo específico. Essas políticas de ação correspondem, ou até melhoram em determinadas circunstâncias, os métodos tradicionais baseados no desenvolvimento analítico.
“Esse tipo de aprendizado nos permite treinar uma rede neural para otimizar uma tarefa específica, o que seria muito difícil de conseguir de outra forma. Por exemplo, conseguimos demonstrar que é possível otimizar a trajetória de um veículo para localizar e rastrear objetos que se movem debaixo d’água”, explica Ivan Masmitjà, principal autor do estudo, que trabalhou entre o ICM-CSIC e o MBARI.
Isso “permitirá aprofundar o estudo de fenômenos ecológicos como migração ou movimento em pequena e grande escala de uma infinidade de espécies marinhas usando robôs autônomos. Além disso, esses avanços permitirão monitorar outros instrumentos oceanográficos em tempo real através de uma rede de robôs, onde alguns podem estar na superfície monitorando e transmitindo por satélite as ações realizadas por outras plataformas robóticas no fundo do mar”, aponta o pesquisador do ICM-CSIC Joan Navarro, que também participou do estudo.
Para realizar este trabalho, os pesquisadores utilizaram técnicas acústicas de alcance, que permitem estimar a posição de um objeto a partir de medições de distância realizadas em diferentes pontos. No entanto, este fato torna a precisão na localização do objeto altamente dependente do local onde as medições de alcance acústico são feitas. E é aqui que se torna importante a aplicação da inteligência artificial e, especificamente, do aprendizado por reforço, que permite identificar os melhores pontos e, portanto, a trajetória ideal a ser realizada pelo robô.
As redes neurais foram treinadas, em parte, usando o cluster de computadores do Centro de Supercomputação de Barcelona (BSC-CNS), onde está localizado o supercomputador mais poderoso da Espanha e um dos mais poderosos da Europa. “Isso possibilitou ajustar os parâmetros de diferentes algoritmos muito mais rapidamente do que usando computadores convencionais”, afirma o professor Mario Martin, do Departamento de Ciência da Computação da UPC e autor do estudo.
Depois de treinados, os algoritmos foram testados em diferentes veículos autônomos, incluindo o AUV Sparus II desenvolvido pela VICOROB, em uma série de missões experimentais desenvolvidas no porto de Sant Feliu de Guíxols, no Baix Empordà e na Baía de Monterey (Califórnia), em colaboração com o pesquisador principal do Laboratório de Bioinspiração do MBARI, Kakani Katija.
“Nosso ambiente de simulação incorpora a arquitetura de controle de veículos reais, o que nos permitiu implementar os algoritmos de forma eficiente antes de ir para o mar”, explica Narcís Palomeras, da UdG.
Para pesquisas futuras, a equipe estudará a possibilidade de aplicar os mesmos algoritmos para resolver missões mais complicadas. Por exemplo, o uso de vários veículos para localizar objetos, detectar frentes e termoclinas ou ressurgência cooperativa de algas por meio de técnicas de aprendizado por reforço multiplataforma.
Esta pesquisa foi realizada graças ao European Marie Curie Individual Fellowship conquistado pelo pesquisador Ivan Masmitjà em 2020 e ao projeto BITER, financiado pelo Ministério de Ciência e Inovação do Governo da Espanha, que está atualmente em implementação.
.
