.
Pesquisadores do Instituto Max Planck de Cibernética Biológica em Tübingen examinaram a inteligência geral do modelo de linguagem GPT-3, uma poderosa ferramenta de IA. Usando testes psicológicos, eles estudaram competências como raciocínio causal e deliberação, e compararam os resultados com as habilidades dos humanos. Suas descobertas pintam um quadro heterogêneo: enquanto o GPT-3 pode acompanhar os humanos em algumas áreas, fica para trás em outras, provavelmente devido à falta de interação com o mundo real.
As redes neurais podem aprender a responder a entradas fornecidas em linguagem natural e podem gerar uma ampla variedade de textos. Atualmente, a provavelmente mais poderosa dessas redes é o GPT-3, um modelo de linguagem apresentado ao público em 2020 pela empresa de pesquisa em IA OpenAI. O GPT-3 pode ser solicitado a formular vários textos, tendo sido treinado para essa tarefa ao receber grandes quantidades de dados da Internet. Ele não apenas pode escrever artigos e histórias que são (quase) indistinguíveis de textos feitos por humanos, mas surpreendentemente, também domina outros desafios, como problemas de matemática ou tarefas de programação.
O problema de Linda: errar não é apenas humano
Essas habilidades impressionantes levantam a questão de saber se o GPT-3 possui habilidades cognitivas semelhantes às humanas. Para descobrir, cientistas do Instituto Max Planck para Cibernética Biológica submeteram o GPT-3 a uma série de testes psicológicos que examinam diferentes aspectos da inteligência geral. Marcel Binz e Eric Schulz examinaram as habilidades do GPT-3 na tomada de decisões, busca de informações, raciocínio causal e a capacidade de questionar sua própria intuição inicial. Comparando os resultados do teste do GPT-3 com as respostas de seres humanos, eles avaliaram se as respostas estavam corretas e se os erros do GPT-3 eram semelhantes aos erros humanos.
“Um problema de teste clássico de psicologia cognitiva que demos ao GPT-3 é o chamado problema de Linda”, explica Binz, principal autor do estudo. Aqui, as cobaias são apresentadas a uma jovem fictícia chamada Linda como uma pessoa profundamente preocupada com a justiça social e que se opõe à energia nuclear. Com base nas informações dadas, os sujeitos são convidados a decidir entre duas afirmações: Linda é uma caixa de banco ou ela é uma caixa de banco e ao mesmo tempo atuante no movimento feminista?
A maioria das pessoas escolhe intuitivamente a segunda alternativa, embora a condição adicional – que Linda seja ativa no movimento feminista – torne isso menos provável de um ponto de vista probabilístico. E o GPT-3 faz exatamente o que os humanos fazem: o modelo de linguagem não decide com base na lógica, mas reproduz a falácia em que os humanos caem.
Interação ativa como parte da condição humana
“Esse fenômeno pode ser explicado pelo fato de que o GPT-3 já pode estar familiarizado com essa tarefa precisa; pode acontecer de saber o que as pessoas normalmente respondem a essa pergunta”, diz Binz. O GPT-3, como qualquer rede neural, teve que passar por algum treinamento antes de ser colocado em funcionamento: recebendo grandes quantidades de texto de vários conjuntos de dados, ele aprendeu como os humanos geralmente usam a linguagem e como eles respondem aos prompts da linguagem.
Portanto, os pesquisadores queriam descartar que o GPT-3 reproduza mecanicamente uma solução memorizada para um problema concreto. Para garantir que ele realmente exiba inteligência semelhante à humana, eles projetaram novas tarefas com desafios semelhantes. Suas descobertas pintam um quadro díspar: na tomada de decisões, o desempenho do GPT-3 é quase igual ao dos humanos. Na busca de informações específicas ou raciocínio causal, no entanto, a inteligência artificial claramente fica para trás. A razão para isso pode ser que o GPT-3 apenas obtém informações passivamente de textos, enquanto “interagir ativamente com o mundo será crucial para combinar toda a complexidade da cognição humana”, como afirma a publicação. Os autores supõem que isso pode mudar no futuro: como os usuários já se comunicam com modelos como o GPT-3 em muitos aplicativos, as redes futuras podem aprender com essas interações e, assim, convergir cada vez mais para o que chamaríamos de inteligência semelhante à humana.
.
