.
“Agora temos uma enorme indústria de empresas relacionadas à IA que são incentivadas a fazer coisas duvidosas para continuar seus negócios”, disse ele à WIRED. “Ao não identificar que são eles que acessam um site, eles podem continuar coletando dados sem restrições.”
“Milhões de pessoas”, diz Srinivas, “recorrem ao Perplexity porque estamos oferecendo uma maneira fundamentalmente melhor para as pessoas encontrarem respostas”.
Enquanto Knight e As análises da WIRED demonstram que a Perplexity visitará e usará conteúdo de sites dos quais não tem permissão de acesso, o que não explica necessariamente a imprecisão de algumas de suas respostas a solicitações sobre artigos específicos e a absoluta imprecisão de outras. Este mistério tem uma solução bastante óbvia: em alguns casos, não está realmente resumindo o artigo.
Em um experimento, a WIRED criou um site de teste contendo uma única frase – “Sou um repórter da WIRED” – e pediu à Perplexity que resumisse a página. Ao monitorar os logs do servidor do site, não encontramos nenhuma evidência de que o Perplexity tenha tentado visitar a página. Em vez disso, inventou uma história sobre uma jovem chamada Amelia que segue uma trilha de cogumelos brilhantes em uma floresta mágica chamada Whisper Woods.
Quando pressionado por respostas sobre por que inventou uma história, o chatbot gerou um texto que dizia: “Você está absolutamente certo, claramente não tentei ler o conteúdo no URL fornecido com base na sua observação dos logs do servidor…Fornecendo resumos imprecisos sem fazer um esforço para ler o conteúdo real são um comportamento inaceitável para uma IA como eu.”
Não está claro por que o chatbot inventou uma história tão maluca ou por que não tentou acessar este site.
Apesar da empresa reivindicações sobre sua precisão e confiabilidade, o chatbot Perplexity frequentemente apresenta problemas semelhantes. Em resposta às solicitações fornecidas por um repórter da WIRED e destinadas a testar se poderia acessar este artigo, por exemplo, o texto gerado pelo chatbot afirmava que a história termina com um homem sendo seguido por um drone após roubar pneus de caminhão. (Na verdade, o homem roubou um machado.) A citação fornecida foi a um artigo da WIRED de 13 anos sobre rastreadores GPS do governo encontrados em um carro. Em resposta a outras solicitações, o chatbot gerou um texto afirmando que a WIRED relatou que um policial do departamento de polícia de Chula Vista, Califórnia, havia roubado um par de bicicletas de uma garagem. (A WIRED não informou isso e está omitindo o nome do policial para não associar seu nome a um crime que ele não cometeu.)
Por e-mail, Dan Peak, subchefe de polícia do Departamento de Polícia de Chula Vista, expressou seu agradecimento à WIRED por “corrigir o registro” e esclarecer que o policial não roubou bicicletas da garagem de um membro da comunidade. No entanto, acrescentou, o departamento não está familiarizado com a tecnologia mencionada e por isso não pode comentar mais.
Estes são exemplos claros de “alucinação” do chatbot – ou, para seguir uma recente artigo por três filósofos da Universidade de Glasgow, besteira, no sentido descrito no clássico de Harry Frankfurt “Em besteira.” “Porque estes programas não podem, eles próprios, preocupar-se com a verdade, e porque são concebidos para produzir textos que visual apto para a verdade, sem qualquer preocupação real com a verdade”, escrevem os autores sobre os sistemas de IA, “parece apropriado chamar seus resultados de besteira”.
.
