Redes neurais feitas de luz podem tornar o aprendizado de máquina mais sustentável

Cientistas propõem uma nova maneira de implementar uma rede neural com um sistema óptico que pode tornar o aprendizado de máquina mais sustentável no futuro. Os pesquisadores do Instituto Max Planck para a Ciência da Luz publicaram seu novo método em Física da Naturezademonstrando um método muito mais simples do que abordagens anteriores.

O aprendizado de máquina e a inteligência artificial estão se tornando cada vez mais difundidos, com aplicações que vão da visão computacional à geração de texto, como demonstrado pelo ChatGPT. No entanto, essas tarefas complexas exigem redes neurais cada vez mais complexas; algumas com muitos bilhões de parâmetros.

Esse rápido crescimento do tamanho da rede neural colocou as tecnologias em um caminho insustentável devido ao seu consumo de energia e tempos de treinamento exponencialmente crescentes. Por exemplo, estima-se que o treinamento GPT-3 consumiu mais de 1.000 MWh de energia, o que equivale ao consumo diário de energia elétrica de uma pequena cidade.

Essa tendência criou uma necessidade por alternativas mais rápidas, mais eficientes em termos de energia e custo, dando início ao campo em rápido desenvolvimento da computação neuromórfica. O objetivo desse campo é substituir as redes neurais em nossos computadores digitais por redes neurais físicas. Elas são projetadas para executar as operações matemáticas necessárias fisicamente de uma forma potencialmente mais rápida e mais eficiente em termos de energia.

Óptica e fotônica são plataformas particularmente promissoras para computação neuromórfica, já que o consumo de energia pode ser mantido no mínimo. Computações podem ser realizadas em paralelo em velocidades muito altas, limitadas apenas pela velocidade da luz. No entanto, até agora, houve dois desafios significativos: primeiro, realizar as computações matemáticas complexas necessárias requer altas potências de laser. Segundo, a falta de um método de treinamento geral eficiente para tais redes neurais físicas.

Ambos os desafios podem ser superados com o novo método proposto por Clara Wanjura e Florian Marquardt do Instituto Max Planck para a Ciência da Luz em seu novo artigo na Física da Natureza. “Normalmente, a entrada de dados é impressa no campo de luz. No entanto, em nossos novos métodos, propomos imprimir a entrada alterando a transmissão de luz”, explica Marquardt, Diretor do Instituto.

Dessa forma, o sinal de entrada pode ser processado de forma arbitrária. Isso é verdade mesmo que o próprio campo de luz se comporte da maneira mais simples possível, na qual as ondas interferem sem influenciar umas às outras. Portanto, sua abordagem permite evitar interações físicas complicadas para realizar as funções matemáticas necessárias que, de outra forma, exigiriam campos de luz de alta potência.

Avaliar e treinar essa rede neural física se tornaria muito simples. “Seria realmente tão simples quanto enviar luz pelo sistema e observar a luz transmitida. Isso nos permite avaliar a saída da rede. Ao mesmo tempo, isso permite medir todas as informações relevantes para o treinamento”, diz Wanjura, o primeiro autor do estudo.

Os autores demonstraram em simulações que sua abordagem pode ser usada para realizar tarefas de classificação de imagens com a mesma precisão das redes neurais digitais.

No futuro, os autores estão planejando colaborar com grupos experimentais para explorar a implementação de seu método. Como sua proposta relaxa significativamente os requisitos experimentais, ela pode ser aplicada a muitos sistemas fisicamente muito diferentes. Isso abre novas possibilidades para dispositivos neuromórficos, permitindo treinamento físico em uma ampla gama de plataformas.