.
Engenheiros da Rice University e da University of Maryland criaram uma tecnologia de vídeo full-motion que poderia ser usada para fazer câmeras que enxergam através de neblina, fumaça, chuva forte, água escura, pele, ossos e outras mídias que refletem luz dispersa e objetos obscuros. de vista.
“Imaginar através da dispersão da mídia é o ‘problema do Santo Graal’ em imagens ópticas neste momento”, disse Ashok Veeraraghavan, da Rice, co-autor correspondente de um estudo de acesso aberto publicado hoje na Avanços da ciência. “A dispersão é o que torna a luz – que tem menor comprimento de onda e, portanto, dá uma resolução espacial muito melhor – inutilizável em muitos, muitos cenários. Se você pode desfazer os efeitos da dispersão, a imagem vai muito além.”
O laboratório de Veeraraghavan colaborou com o grupo de pesquisa do co-autor de Maryland, Christopher Metzler, para criar uma tecnologia que eles chamaram de NeuWS, que é um acrônimo para “modelagem de frente de onda neural”, a técnica central da tecnologia.
“Se você perguntar às pessoas que trabalham com veículos autônomos sobre os maiores desafios que enfrentam, elas dirão: ‘Clima ruim. Não podemos fazer boas imagens com tempo ruim’”, disse Veeraraghavan. “Eles estão dizendo ‘mau tempo’, mas o que eles querem dizer, em termos técnicos, é dispersão de luz. Se você perguntar aos biólogos sobre os maiores desafios da microscopia, eles dirão: ‘Não podemos obter imagens de tecidos profundos in vivo.’ Eles estão dizendo ‘tecido profundo’ e ‘in vivo’, mas o que eles realmente querem dizer é que a pele e outras camadas de tecido que eles querem ver, estão espalhando a luz. Se você perguntar aos fotógrafos subaquáticos sobre seu maior desafio, eles vão diga: ‘Só consigo imaginar coisas que estão próximas de mim’. O que eles realmente querem dizer é que a luz se espalha na água e, portanto, não vai fundo o suficiente para que eles se concentrem em coisas que estão distantes.
“Em todas essas circunstâncias, e outras, o verdadeiro problema técnico é a dispersão”, disse Veeraraghavan.
Ele disse que o NeuWS poderia ser usado para superar a dispersão nesses cenários e em outros.
“Este é um grande passo à frente para nós, em termos de resolver isso de uma forma potencialmente prática”, disse ele. “Há muito trabalho a ser feito antes que possamos realmente construir protótipos em cada um desses domínios de aplicativos, mas a abordagem que demonstramos pode atravessá-los.”
Conceitualmente, o NeuWS é baseado no princípio de que as ondas de luz são quantidades matemáticas complexas com duas propriedades principais que podem ser calculadas para qualquer local. A primeira, magnitude, é a quantidade de energia que a onda carrega no local, e a segunda é a fase, que é o estado de oscilação da onda no local. Metzler e Veeraraghavan disseram que a fase de medição é crítica para superar a dispersão, mas é impraticável medir diretamente por causa da alta frequência da luz óptica.
Em vez disso, eles medem a luz recebida como “frentes de onda” – medições únicas que contêm informações de fase e intensidade – e usam o processamento de back-end para decifrar rapidamente as informações de fase de várias centenas de medições de frente de onda por segundo.
“O desafio técnico é encontrar uma maneira de medir rapidamente as informações de fase”, disse Metzler, professor assistente de ciência da computação em Maryland e ex-aluno da “tripla Owl” Rice, que obteve seu doutorado, mestrado e bacharelado em engenharia elétrica e de computação. do Arroz em 2019, 2014 e 2013, respectivamente. Metzler estava na Rice University durante o desenvolvimento de uma iteração anterior da tecnologia de processamento de frente de onda chamada WISH, publicada por Veeraraghavan e colegas em 2020.
“WISH abordou o mesmo problema, mas funcionou sob a suposição de que tudo era estático e bom”, disse Veeraraghavan. “No mundo real, é claro, as coisas mudam o tempo todo.”
Com o NeuWS, disse ele, a ideia é não apenas desfazer os efeitos da dispersão, mas desfazê-los rápido o suficiente para que a própria mídia de dispersão não mude durante a medição.
“Em vez de medir o estado de oscilação em si, você mede sua correlação com frentes de onda conhecidas”, disse Veeraraghavan. “Você pega uma frente de onda conhecida, interfere com a frente de onda desconhecida e mede o padrão de interferência produzido pelas duas. Essa é a correlação entre essas duas frentes de onda.”
Metzler usou a analogia de olhar para a Estrela do Norte à noite através de uma névoa de nuvens. “Se eu sei como a Estrela do Norte deve parecer, e posso dizer que está borrada de uma maneira particular, isso me diz como todo o resto ficará borrado.”
Veerarghavan disse: “Não é uma comparação, é uma correlação e, se você medir pelo menos três dessas correlações, poderá recuperar exclusivamente a frente de onda desconhecida”.
Os moduladores de luz espacial de última geração podem fazer várias centenas dessas medições por minuto, e Veeraraghavan, Metzler e colegas mostraram que podem usar um modulador e seu método computacional para capturar vídeos de objetos em movimento que foram obscurecidos pela mídia de dispersão interveniente. .
“Este é o primeiro passo, a prova do princípio de que esta tecnologia pode corrigir a dispersão da luz em tempo real”, disse Haiyun Guo, da Rice, um dos principais autores do estudo e Ph.D. estudante no grupo de pesquisa de Veeraraghavan.
Em um conjunto de experimentos, por exemplo, uma lâmina de microscópio contendo uma imagem impressa de uma coruja ou tartaruga foi girada em um fuso e filmada por uma câmera suspensa. A mídia de dispersão de luz foi colocada entre a câmera e o slide alvo, e os pesquisadores mediram a capacidade do NeuWS de corrigir a dispersão de luz. Exemplos de meios de dispersão incluem casca de cebola, lâminas revestidas com esmalte, fatias de tecido de peito de frango e filmes difusores de luz. Para cada um deles, os experimentos mostraram que o NeuWS poderia corrigir a dispersão da luz e produzir um vídeo nítido das figuras giratórias.
“Desenvolvemos algoritmos que nos permitem estimar continuamente a dispersão e a cena”, disse Metzler. “É isso que nos permite fazer isso, e fazemos isso com uma maquinaria matemática chamada representação neural que permite que seja eficiente e rápido”.
O NeuWS modula rapidamente a luz das frentes de onda recebidas para criar várias medições de fase ligeiramente alteradas. As fases alteradas são então alimentadas diretamente em uma rede neural de 16.000 parâmetros que calcula rapidamente as correlações necessárias para recuperar as informações de fase originais da frente de onda.
“As redes neurais permitem que seja mais rápido, permitindo-nos projetar algoritmos que requerem menos medições”, disse Veeraraghavan.
Metzler disse: “Na verdade, esse é o maior ponto de venda. Menos medições, basicamente, significa que precisamos de muito menos tempo de captura. É o que nos permite capturar vídeo em vez de quadros estáticos”.
A pesquisa foi apoiada pelo Escritório de Pesquisa Científica da Força Aérea (FA9550-22-1-0208), pela National Science Foundation (1652633, 1730574, 1648451) e pelo National Institutes of Health (DE032051), e o financiamento parcial para acesso aberto foi fornecido pelo Fundo de Publicação de Acesso Aberto das Bibliotecas da Universidade de Maryland.
.
