.
Quando o jornalista alemão Martin Bernklau digitou seu nome e localização no Copilot da Microsoft para ver como seus artigos seriam captados pelo chatbot, as respostas o horrorizaram.
Os resultados do Copilot afirmaram que Bernklau era um fugitivo de uma instituição psiquiátrica, um abusador de crianças condenado e um vigarista que caçava viúvos. Durante anos, Bernklau serviu como repórter do tribunal e o chatbot de inteligência artificial (IA) o culpou falsamente pelos crimes que ele cobriu.
As acusações contra Bernklau não são verdadeiras, é claro, e são exemplos de “alucinações” de IA generativa. Essas são respostas imprecisas ou sem sentido a um prompt fornecido pelo usuário e são assustadoramente comuns com essa tecnologia. Qualquer um que tente usar IA deve sempre proceder com grande cautela, porque as informações de tais sistemas precisam de validação e verificação por humanos antes que possam ser confiáveis.
Mas por que o Copiloto teve alucinações com essas acusações terríveis e falsas?
Copilot e outros sistemas de IA generativos como ChatGPT e Google Gemini são modelos de linguagem grande (LLMs). O sistema de processamento de informações subjacente em LLMs é conhecido como uma “rede neural de aprendizado profundo”, que usa uma grande quantidade de linguagem humana para “treinar” seu algoritmo.
A partir dos dados de treinamento, o algoritmo aprende a relação estatística entre diferentes palavras e a probabilidade de certas palavras aparecerem juntas em um texto. Isso permite que o LLM preveja a resposta mais provável com base em probabilidades calculadas. Os LLMs não possuem conhecimento real.
Os dados usados para treinar o Copilot e outros LLMs são vastos. Embora os detalhes exatos do tamanho e da composição dos corpora do Copilot ou ChatGPT não sejam divulgados publicamente, o Copilot incorpora todo o corpus do ChatGPT, além dos artigos adicionais específicos da própria Microsoft. Os predecessores do ChatGPT4 – ChatGPT3 e 3.5 – são conhecidos por terem usado “centenas de bilhões de palavras”.
O Copilot é baseado no ChatGPT4, que usa um corpus “maior” do que o ChatGPT3 ou 3.5. Embora não saibamos exatamente quantas palavras são, os saltos entre diferentes versões do ChatGPT tendem a ser ordens de magnitude maiores. Também sabemos que o corpus inclui livros, periódicos acadêmicos e artigos de notícias. E aqui está a razão pela qual o Copilot alucinou que Bernklau era responsável por crimes hediondos.
Bernklau havia relatado regularmente sobre julgamentos criminais de abuso, violência e fraude, que eram publicados em jornais nacionais e internacionais. Seus artigos devem presumivelmente ter sido incluídos no corpus de linguagem que usa palavras específicas relacionadas à natureza dos casos.
Como Bernklau passou anos fazendo reportagens no tribunal, quando Copilot é questionado sobre ele, as palavras mais prováveis associadas ao seu nome se relacionam aos crimes que ele cobriu como repórter. Este não é o único caso desse tipo e provavelmente veremos mais nos próximos anos.
Imagens Tada/Shutterstock
Em 2023, o apresentador de rádio americano Mark Walters processou com sucesso a OpenAI, a empresa dona do ChatGPT. Walters apresenta um programa chamado Armed American Radio, que explora e promove os direitos de posse de armas nos EUA.
O LLM teve alucinações de que Walters havia sido processado pela Second Amendment Foundation (SAF), uma organização dos EUA que apoia os direitos às armas, por fraude e desvio de fundos. Isso ocorreu depois que um jornalista questionou o ChatGPT sobre um caso legal real e em andamento envolvendo a SAF e o procurador-geral do estado de Washington.
Walters nunca trabalhou para a SAF e não estava envolvido no caso entre a SAF e o estado de Washington de forma alguma. Mas como a fundação tem objetivos semelhantes ao show de Walters, pode-se deduzir que o conteúdo do texto no corpus de linguagem construiu uma correlação estatística entre Walters e a SAF que causou a alucinação.
Correções
Corrigir esses problemas em todo o corpus de idiomas é quase impossível. Cada artigo, frase e palavra incluídos no corpus precisariam ser examinados para identificar e remover linguagem tendenciosa. Dada a escala do conjunto de dados, isso é impraticável.
As alucinações que falsamente associam pessoas a crimes, como no caso de Bernklau, são ainda mais difíceis de detectar e abordar. Para consertar o problema permanentemente, o Copilot precisaria remover o nome de Bernklau como autor dos artigos para quebrar a conexão.
Leia mais: A IA agora pode participar de uma reunião e escrever código para você – eis por que você deve ser cauteloso
Para resolver o problema, a Microsoft projetou uma resposta automática que é dada quando um usuário pergunta ao Copilot sobre o caso de Bernklau. A resposta detalha a alucinação e esclarece que Bernklau não é culpado de nenhuma das acusações. A Microsoft disse que incorpora continuamente o feedback do usuário e lança atualizações para melhorar suas respostas e fornecer uma experiência positiva.
Provavelmente há muitos outros exemplos semelhantes que ainda estão para ser descobertos. Torna-se impraticável tentar abordar cada problema solitário. Alucinações são um subproduto inevitável de como o algoritmo LLM subjacente funciona.
Como usuários desses sistemas, a única maneira de sabermos que a saída é confiável é questioná-la quanto à validade usando alguns métodos estabelecidos. Isso pode incluir encontrar três fontes independentes que concordem com as afirmações feitas pelo LLM antes de aceitar a saída como correta, como minha própria pesquisa mostrou.
Para as empresas que possuem essas ferramentas, como a Microsoft ou a OpenAI, não há uma estratégia proativa real que possa ser tomada para evitar esses problemas. Tudo o que elas podem realmente fazer é reagir à descoberta de alucinações semelhantes.
.
