.
Os seres humanos têm a capacidade de aprender um novo conceito e, em seguida, usá-lo imediatamente para compreender os usos relacionados desse conceito – uma vez que as crianças sabem como “pular”, elas entendem o que significa “pular duas vezes pela sala” ou “pular com o seu”. mãos ao ar.”
Mas serão as máquinas capazes deste tipo de pensamento? No final da década de 1980, Jerry Fodor e Zenon Pylyshyn, filósofos e cientistas cognitivos, postularam que as redes neurais artificiais – os motores que impulsionam a inteligência artificial e o aprendizado de máquina – não são capazes de fazer essas conexões, conhecidas como “generalizações composicionais”. No entanto, nas décadas seguintes, os cientistas têm desenvolvido formas de incutir esta capacidade nas redes neurais e tecnologias relacionadas, mas com sucesso misto, mantendo assim vivo este debate de décadas.
Pesquisadores da Universidade de Nova York e da Universidade Pompeu Fabra da Espanha desenvolveram agora uma técnica – relatada na revista Natureza – isso aumenta a capacidade dessas ferramentas, como o ChatGPT, de fazer generalizações composicionais. Esta técnica, Meta-aprendizagem para Composicionalidade (MLC), supera as abordagens existentes e está no mesmo nível e, em alguns casos, melhor que o desempenho humano. O MLC concentra-se no treinamento de redes neurais – os motores que impulsionam o ChatGPT e tecnologias relacionadas para reconhecimento de fala e processamento de linguagem natural – para melhorar a generalização composicional por meio da prática.
Os desenvolvedores de sistemas existentes, incluindo grandes modelos de linguagem, esperam que a generalização composicional emerja dos métodos de treinamento padrão, ou desenvolveram arquiteturas para fins especiais, a fim de alcançar essas habilidades. O MLC, por outro lado, mostra como a prática explícita dessas habilidades permite que esses sistemas desbloqueiem novos poderes, observam os autores.
“Por 35 anos, pesquisadores em ciências cognitivas, inteligência artificial, linguística e filosofia têm debatido se as redes neurais podem alcançar uma generalização sistemática semelhante à humana”, diz Brenden Lake, professor assistente do Centro de Ciência de Dados e do Departamento de Psicologia da NYU e um dos autores do artigo. “Mostramos, pela primeira vez, que uma rede neural genérica pode imitar ou exceder a generalização sistemática humana em uma comparação direta”.
Ao explorar a possibilidade de reforçar a aprendizagem composicional em redes neurais, os pesquisadores criaram o MLC, um novo procedimento de aprendizagem no qual uma rede neural é continuamente atualizada para melhorar suas habilidades ao longo de uma série de episódios. Em um episódio, MLC recebe uma nova palavra e é solicitado a usá-la em termos de composição – por exemplo, pegar a palavra “pular” e criar novas combinações de palavras, como “pular duas vezes” ou “pular para a direita duas vezes”. O MLC recebe então um novo episódio que apresenta uma palavra diferente e assim por diante, melhorando cada vez as habilidades de composição da rede.
Para testar a eficácia do MLC, Lake, codiretor da Iniciativa Mentes, Cérebros e Máquinas da NYU, e Marco Baroni, pesquisador do Instituto Catalão de Pesquisa e Estudos Avançados e professor do Departamento de Tradução e Ciências da Linguagem de Pompeu Fabra University, conduziu uma série de experimentos com participantes humanos que eram idênticos às tarefas realizadas pelo MLC.
Além disso, em vez de aprender o significado das palavras reais – termos que os humanos já conheceriam – eles também tiveram que aprender o significado de termos sem sentido (por exemplo, “zup” e “dax”) conforme definidos pelos pesquisadores e saber como aplicá-los de maneiras diferentes. O MLC teve um desempenho tão bom quanto o dos participantes humanos – e, em alguns casos, melhor que seus equivalentes humanos. MLC e pessoas também superaram ChatGPT e GPT-4, que apesar de suas impressionantes habilidades gerais, mostraram dificuldades nesta tarefa de aprendizagem.
“Grandes modelos de linguagem, como o ChatGPT, ainda lutam com a generalização composicional, embora tenham melhorado nos últimos anos”, observa Baroni, membro do grupo de pesquisa em Lingüística Computacional e Teoria Linguística da Universidade Pompeu Fabra. “Mas acreditamos que o MLC pode melhorar ainda mais as habilidades de composição de grandes modelos de linguagem.”
.
