.
Um novo esforço colaborativo entre o MBARI e outras instituições de pesquisa está aproveitando o poder da inteligência artificial e do aprendizado de máquina para acelerar os esforços para estudar o oceano.
Para gerenciar os impactos das mudanças climáticas e outras ameaças, os pesquisadores precisam urgentemente aprender mais sobre os habitantes, ecossistemas e processos do oceano. À medida que cientistas e engenheiros desenvolvem robótica avançada que pode visualizar a vida marinha e os ambientes para monitorar as mudanças na saúde do oceano, eles enfrentam um problema fundamental: a coleta de imagens, vídeos e outros dados visuais excede em muito a capacidade de análise dos pesquisadores.
FathomNet é um banco de dados de imagens de código aberto que usa algoritmos de processamento de dados de última geração para ajudar a processar o acúmulo de dados visuais. O uso de inteligência artificial e aprendizado de máquina aliviará o gargalo para analisar imagens subaquáticas e acelerará pesquisas importantes sobre a saúde dos oceanos.
“Um grande oceano precisa de big data. Os pesquisadores estão coletando grandes quantidades de dados visuais para observar a vida no oceano. Como podemos processar todas essas informações sem automação? O aprendizado de máquina fornece um caminho a seguir, mas essas abordagens dependem de conjuntos de dados maciços para treinamento . O FathomNet foi construído para preencher essa lacuna”, disse Kakani Katija, engenheiro-chefe do MBARI.
Os cofundadores do projeto Katija, Katy Croff Bell (Ocean Discovery League) e Ben Woodward (CVision AI), juntamente com membros da equipe estendida da FathomNet, detalharam o desenvolvimento desse novo banco de dados de imagens em uma recente publicação de pesquisa em Relatórios Científicos.
Avanços recentes no aprendizado de máquina permitem análises rápidas e sofisticadas de dados visuais, mas o uso de inteligência artificial na pesquisa oceânica tem sido limitado pela falta de um conjunto padrão de imagens existentes que possam ser usadas para treinar as máquinas a reconhecer e catalogar objetos subaquáticos e vida. O FathomNet atende a essa necessidade agregando imagens de várias fontes para criar um banco de dados de treinamento de imagens subaquáticas disponível ao público e com curadoria especializada.
“Nos últimos cinco anos, o aprendizado de máquina revolucionou o cenário da análise visual automatizada, impulsionada em grande parte por coleções maciças de dados rotulados. ImageNet e Microsoft COCO são conjuntos de dados de referência para aplicativos terrestres para os quais pesquisadores de aprendizado de máquina e visão computacional migram, mas ainda nem começamos a arranhar a superfície dos recursos de aprendizado de máquina para análise visual subaquática”, disse Ben Woodward, cofundador e CEO da CVision AI e cofundador da FathomNet. “Com o FathomNet, nosso objetivo é fornecer uma referência rica e interessante para envolver a comunidade de aprendizado de máquina em um novo domínio”.
Nos últimos 35 anos, o MBARI gravou quase 28.000 horas de vídeo em águas profundas e coletou mais de 1 milhão de imagens em águas profundas. Este tesouro de dados visuais foi anotado em detalhes por técnicos de pesquisa no Laboratório de Vídeo do MBARI. O arquivo de vídeo do MBARI inclui aproximadamente 8,2 milhões de anotações que registram observações de animais, habitats e objetos. Este rico conjunto de dados é um recurso inestimável para pesquisadores do instituto e colaboradores em todo o mundo.
FathomNet incorpora um subconjunto do conjunto de dados do MBARI, bem como ativos da National Geographic e NOAA.
O Laboratório de Tecnologia de Exploração da National Geographic Society vem implantando versões de sua plataforma autônoma bentônica, o Deep Sea Camera System, desde 2010, coletando mais de 1.000 horas de dados de vídeo de locais em todas as bacias oceânicas e em uma variedade de habitats marinhos. Esses vídeos foram posteriormente ingeridos na plataforma de análise colaborativa baseada em nuvem da CVision AI e anotados por especialistas no assunto da Universidade do Havaí e OceansTurn.
National Oceanic and Atmospheric Administration (NOAA) Ocean Exploration começou a coletar dados de vídeo com um sistema de veículo duplo operado remotamente a bordo do navio NOAA Okeanos Explorer em 2010. Mais de 271 terabytes estão arquivados e acessíveis ao público nos Centros Nacionais de Informações Ambientais da NOAA (NCEI). A NOAA Ocean Exploration originalmente fez anotações coletivas por meio de cientistas voluntários participantes e começou a apoiar taxonomistas especialistas em 2015 para anotar mais detalhadamente os vídeos coletados.
“FathomNet é um ótimo exemplo de como a colaboração e a ciência comunitária podem promover avanços na forma como aprendemos sobre o oceano. Com dados do MBARI e de outros colaboradores como espinha dorsal, esperamos que o FathomNet possa ajudar a acelerar a pesquisa oceânica em um momento em que entendemos o oceano é mais importante do que nunca”, disse Lonny Lundsten, técnico de pesquisa sênior do Laboratório de Vídeo do MBARI, coautor e membro da equipe FathomNet.
Como um recurso baseado na Web de código aberto, outras instituições podem contribuir e usar o FathomNet em vez dos esforços tradicionais e intensivos em recursos para processar e analisar dados visuais. A MBARI lançou um programa piloto para usar modelos de aprendizado de máquina treinados pela FathomNet para anotar vídeos capturados por veículos submarinos operados remotamente (ROVs). O uso de algoritmos de IA reduziu o esforço humano em 81% e aumentou dez vezes a taxa de rotulagem.
Modelos de aprendizado de máquina treinados com dados da FathomNet também têm o potencial de revolucionar a exploração e o monitoramento oceânicos. Por exemplo, equipar veículos robóticos com câmeras e algoritmos aprimorados de aprendizado de máquina pode eventualmente permitir a busca e o rastreamento automatizados de animais marinhos e outros objetos subaquáticos.
“Há quatro anos, imaginamos usar o aprendizado de máquina para analisar milhares de horas de vídeo do oceano, mas na época não era possível principalmente devido à falta de imagens anotadas. A FathomNet agora tornará essa visão uma realidade, desbloqueando descobertas e permitindo ferramentas que exploradores, cientistas e o público podem usar para acelerar o ritmo da descoberta oceânica”, disse Katy Croff Bell, fundadora e presidente da Ocean Discovery League e cofundadora da FathomNet.
Em setembro de 2022, FathomNet continha 84.454 imagens, representando 175.875 localizações de 81 coleções separadas para 2.243 conceitos, com contribuições adicionais em andamento. FathomNet pretende obter 1.000 observações independentes para mais de 200.000 espécies de animais em diversas poses e condições de imagem – eventualmente mais de 200 milhões de observações totais. Para que a FathomNet atinja seus objetivos pretendidos, será necessário um envolvimento significativo da comunidade – incluindo contribuições de alta qualidade em uma ampla gama de grupos e indivíduos – e uma ampla utilização do banco de dados.
“Embora a FathomNet seja uma plataforma baseada na web construída em uma API onde as pessoas podem baixar dados rotulados para treinar novos algoritmos, também queremos que ela sirva como uma comunidade onde exploradores e entusiastas oceânicos de todas as origens possam contribuir com seu conhecimento e experiência e ajudar a resolver desafios relacionados aos dados visuais do oceano que são impossíveis sem um amplo envolvimento”, disse Katija.
FathomNet: fathomnet.org
O financiamento inicial da FathomNet foi fornecido pela National Geographic Society (#518018), National Oceanic and Atmospheric Administration (NA18OAR4170105) e MBARI por meio do generoso apoio da David and Lucile Packard Foundation. Apoio financeiro adicional foi fornecido pela National Geographic Society (NGS-86951T-21) e pela National Science Foundation (OTIC #1812535 & Convergence Accelerator #2137977).
.
