Por que o ChatGPT e o Bing Chat são tão bons em inventar coisas

Nos últimos meses, os chatbots de IA, como o ChatGPT, chamaram a atenção do mundo devido à sua capacidade de conversar de maneira humana sobre praticamente qualquer assunto. Mas eles vêm com uma séria desvantagem: eles podem apresentar facilmente informações falsas convincentes, tornando-os fontes não confiáveis ​​de informações factuais e potenciais fontes de difamação.

Por que os chatbots de IA inventam as coisas e seremos capazes de confiar totalmente em seus resultados? Perguntamos a vários especialistas e investigamos como esses modelos de IA funcionam para encontrar as respostas.

“Alucinações” – um termo carregado em IA

Os chatbots de IA, como o ChatGPT da OpenAI, dependem de um tipo de IA chamado “modelo de linguagem grande” (LLM) para gerar suas respostas. Um LLM é um programa de computador treinado em milhões de fontes de texto que podem ler e gerar texto em “linguagem natural” – linguagem como os humanos escreveriam ou falariam naturalmente. Infelizmente, eles também podem cometer erros.

Na literatura acadêmica, os pesquisadores de IA costumam chamar esses erros de “alucinações”. Mas esse rótulo se tornou controverso à medida que o tópico se tornou popular porque algumas pessoas acham que antropomorfiza modelos de IA (sugerindo que eles têm recursos semelhantes aos humanos) ou lhes dá agência (sugerindo que eles podem fazer suas próprias escolhas) em situações em que isso não deveria estar implícito. Os criadores de LLMs comerciais também podem usar alucinações como desculpa para culpar o modelo de IA por saídas defeituosas, em vez de assumir a responsabilidade pelas próprias saídas.

Ainda assim, a IA generativa é tão nova que precisamos de metáforas emprestadas de ideias existentes para explicar esses conceitos altamente técnicos ao público em geral. Nesse sentido, sentimos que o termo “confabulação”, embora igualmente imperfeito, é uma metáfora melhor do que “alucinação”. Na psicologia humana, uma “confabulação” ocorre quando a memória de alguém tem uma lacuna e o cérebro preenche o restante de forma convincente, sem a intenção de enganar os outros. ChatGPT não funcionam como o cérebro humano, mas o termo “confabulação” sem dúvida serve como uma metáfora melhor porque há um princípio criativo de preenchimento de lacunas em ação, como exploraremos a seguir.

O problema da confabulação

É um grande problema quando um bot AI gera informações falsas que podem potencialmente enganar, desinformar ou difamar. Recentemente, o The Washington Post informou sobre um professor de direito que descobriu que o ChatGPT o colocou em uma lista de juristas que assediaram sexualmente alguém. Mas isso nunca aconteceu – o ChatGPT inventou. No mesmo dia, Ars relatou sobre um prefeito australiano que supostamente descobriu que o ChatGPT alegou ter sido condenado por suborno e sentenciado à prisão, uma invenção completa.

Logo após o lançamento do ChatGPT, as pessoas começaram a proclamar o fim do mecanismo de busca. Ao mesmo tempo, porém, muitos exemplos de fabulações do ChatGPT começaram a circular nas redes sociais. O bot AI inventou livros e estudos que não existem, publicações que os professores não escreveram, falso trabalhos acadêmicosfalso citações legaisinexistente Recursos do sistema Linuxirreal mascotes de varejoe detalhes técnicos isso não faz sentido.

E, no entanto, apesar da predileção do ChatGPT por mentir casualmente, contra-intuitivamente, sua resistência à confabulação é o motivo pelo qual estamos falando sobre isso hoje. Alguns especialistas observam que o ChatGPT foi tecnicamente uma melhoria em relação ao vanilla GPT-3 (seu modelo antecessor), porque ele pode se recusar a responder a algumas perguntas ou informar quando suas respostas podem não ser precisas.

“Um fator importante no sucesso do Chat é que ele consegue suprimir a confabulação o suficiente para torná-la imperceptível para muitas perguntas comuns”, disse Riley Goodside, especialista em modelos de linguagem grande que atua como engenheiro de equipe na Scale AI. “Comparado com seus antecessores, o ChatGPT é notavelmente menos propenso a inventar coisas.”

Se usado como uma ferramenta de brainstorming, os saltos lógicos e confabulações do ChatGPT podem levar a avanços criativos. Mas, quando usado como referência factual, o ChatGPT pode causar danos reais, e a OpenAI sabe disso.

Pouco depois do lançamento do modelo, o CEO da OpenAI, Sam Altman tuitou, “ChatGPT é incrivelmente limitado, mas bom o suficiente em algumas coisas para criar uma impressão enganosa de grandeza. É um erro confiar nele para qualquer coisa importante agora. É uma prévia do progresso; temos muito trabalho a fazer em termos de robustez e veracidade”. mais tarde twittarele escreveu: “Eut sabe muito, mas o perigo é que está confiante e errado uma fração significativa do tempo.”

O que está acontecendo aqui?