.
sakchai vongsasiripat / Getty Image
O ChatGPT pode muito bem revolucionar a pesquisa na web, agilizar as tarefas de escritório e refazer a educação, mas o chatbot de fala mansa também encontrou trabalho como vendedor de criptografia nas redes sociais.
Pesquisadores da Indiana University Bloomington descobriram um botnet alimentado por ChatGPT operando no X – a rede social anteriormente conhecida como Twitter – em maio deste ano.
A botnet, que os pesquisadores apelidaram de Fox8 por causa de sua conexão com sites de criptomoedas com alguma variação do mesmo nome, consistia em 1.140 contas. Muitos deles pareciam usar o ChatGPT para criar postagens de mídia social e responder às postagens uns dos outros. O conteúdo gerado automaticamente foi aparentemente projetado para atrair humanos desavisados a clicar em links para sites de criptografia.
Micah Musser, um pesquisador que estudou o potencial de desinformação impulsionada pela IA, diz que o botnet Fox8 pode ser apenas a ponta do iceberg, dado o quão populares modelos de linguagem grande e chatbots se tornaram. “Este é o fruto mais fácil”, diz Musser. “É muito, muito provável que, para cada campanha que você encontrar, haja muitas outras fazendo coisas mais sofisticadas.”
O botnet Fox8 pode ter se espalhado, mas seu uso do ChatGPT certamente não era sofisticado. Os pesquisadores descobriram o botnet pesquisando na plataforma a frase reveladora “Como um modelo de linguagem de IA…”, uma resposta que o ChatGPT às vezes usa para solicitações sobre assuntos delicados. Eles então analisaram manualmente as contas para identificar aquelas que pareciam ser operadas por bots.
“A única razão pela qual notamos esse botnet em particular é que eles eram desleixados”, diz Filippo Menczer, professor da Indiana University Bloomington, que realizou a pesquisa com Kai-Cheng Yang, um estudante que ingressará na Northeastern University como pesquisador de pós-doutorado para o próximo ano letivo.
Apesar do tique, o botnet postou muitas mensagens convincentes promovendo sites de criptomoedas. A aparente facilidade com que a inteligência artificial da OpenAI foi aparentemente aproveitada para o golpe significa que chatbots avançados podem estar executando outras botnets que ainda não foram detectadas. “Qualquer bandido muito bom não cometeria esse erro”, diz Menczer.
A OpenAI não respondeu a um pedido de comentário sobre o botnet até o momento da postagem. A política de uso de seus modelos de IA proíbe seu uso para golpes ou desinformação.
ChatGPT e outros chatbots de última geração usam o que é conhecido como modelos de linguagem grandes para gerar texto em resposta a um prompt. Com dados de treinamento suficientes (muitos deles extraídos de várias fontes na web), poder computacional suficiente e feedback de testadores humanos, bots como o ChatGPT podem responder de maneiras surpreendentemente sofisticadas a uma ampla gama de entradas. Ao mesmo tempo, também podem deixar escapar mensagens de ódio, exibir preconceitos sociais e inventar coisas.
Um botnet baseado em ChatGPT configurado corretamente seria difícil de detectar, mais capaz de enganar os usuários e mais eficaz em manipular os algoritmos usados para priorizar o conteúdo nas mídias sociais.
“Isso engana tanto a plataforma quanto os usuários”, diz Menczer sobre o botnet desenvolvido pelo ChatGPT. E, se um algoritmo de mídia social detectar que uma postagem tem muito engajamento – mesmo que esse engajamento seja de outras contas de bot – ele mostrará a postagem para mais pessoas. “É exatamente por isso que esses bots estão se comportando dessa maneira”, diz Menczer. E os governos que pretendem lançar campanhas de desinformação provavelmente já estão a desenvolver ou a implementar tais ferramentas, acrescenta.
Os pesquisadores há muito se preocupam que a tecnologia por trás do ChatGPT possa representar um risco de desinformação, e a OpenAI até atrasou o lançamento de um antecessor do sistema devido a tais temores. Mas, até o momento, existem poucos exemplos concretos de grandes modelos de linguagem sendo mal utilizados em grande escala. Algumas campanhas políticas já estão usando IA, com destaque políticos compartilhando vídeos deepfake projetado para menosprezar seus oponentes.
William Wang, professor da Universidade da Califórnia, em Santa Bárbara, diz que é emocionante poder estudar o uso criminoso real do ChatGPT. “Suas descobertas são muito interessantes”, diz ele sobre o trabalho da Fox8.
Wang acredita que muitas páginas de spam agora são geradas automaticamente e ele diz que está ficando mais difícil para os humanos identificarem esse material. E, com a IA melhorando o tempo todo, só vai ficar mais difícil. “A situação é muito ruim”, diz ele.
Em maio, o laboratório de Wang desenvolveu uma técnica para distinguir automaticamente o texto gerado pelo ChatGPT da escrita humana real, mas ele diz que é caro implantar porque usa a API do OpenAI e observa que a IA subjacente está melhorando constantemente. “É uma espécie de problema de gato e rato”, diz Wang.
X poderia ser um campo de testes fértil para tais ferramentas. Menczer diz que os bots maliciosos parecem ter se tornado muito mais comuns desde que Elon Musk assumiu o controle do então conhecido como Twitter, apesar da promessa do magnata da tecnologia de erradicá-los. E tornou-se mais difícil para os pesquisadores estudar o problema devido ao forte aumento de preços imposto ao uso da API.
Alguém no X aparentemente derrubou o botnet Fox8 depois que Menczer e Yang publicaram seu artigo em julho. O grupo de Menczer costumava alertar o Twitter sobre novas descobertas na plataforma, mas não faz mais isso com o X. “Eles não respondem muito bem”, diz Menczer. “Eles realmente não têm pessoal.”
Esta história apareceu originalmente em wired.com.
.
