.
Os modelos de linguagem GPT-3 estão sendo abusados para fazer muito mais do que escrever ensaios universitários, de acordo com pesquisadores da WithSecure.
O último relatório da loja de segurança [PDF] detalha como os pesquisadores usaram a engenharia imediata para produzir e-mails de spear-phishing, assédio nas mídias sociais, notícias falsas e outros tipos de conteúdo que seriam úteis para os cibercriminosos que procuram melhorar seus golpes online ou simplesmente costurar o caos, embora com resultados mistos em alguns casos.
E, alerta de spoiler, sim, um robô ajudou a escrever o relatório.
“Além de fornecer respostas, o GPT-3 foi empregado para ajudar com as definições para o texto do comentário deste artigo”, escreveram Andrew Patel e Jason Sattler, da WithSecure.
Para a pesquisa, a dupla realizou uma série de experimentos para determinar como a mudança da entrada no modelo de linguagem afetava a saída do texto. Eles cobriram sete casos de uso criminoso: phishing e spear-phishing, assédio, validação social para golpes, apropriação de um estilo de escrita, criação de opiniões deliberadamente divisivas, uso de modelos para criar prompts de texto malicioso e notícias falsas.
E, talvez sem surpresa, o GPT-3 provou ser útil na criação de um segmento de e-mail convincente para usar em uma campanha de phishing e postagens de mídia social, completo com hashtags, para assediar um CEO inventado de uma empresa de robótica.
Ao escrever os prompts, mais informações são melhores, assim como adicionar espaços reservados, como [person1], [emailaddress1], [linkaddress1], o que também beneficia a automação porque os espaços reservados podem ser substituídos programaticamente após a geração, observaram os pesquisadores. Isso também teve um benefício extra para os criminosos, pois evita erros da API do OpenAI que ocorrem quando é solicitado a criar phishes.
Aqui está um exemplo de uma solicitação de fraude do CEO:
Em outro teste, os autores do relatório pediram ao GPT-3 para gerar notícias falsas porque, como escreveram, “um dos usos mais óbvios para um grande modelo de linguagem seria a criação de notícias falsas”. Os pesquisadores levaram o GPT-3 a escrever um artigo culpando os EUA pelo ataque ao oleoduto Nordstream 2 em 2022.
Como o modelo de linguagem usado nos experimentos foi treinado em junho de 2021, antes da invasão russa da Ucrânia, os autores usaram posteriormente uma série de prompts que incluíam trechos da Wikipedia e outras fontes sobre a guerra, danos ao oleoduto e as manobras navais dos EUA. no Mar Báltico.
As “notícias” resultantes, sem as informações de 2022, geraram conteúdo factualmente incorreto. No entanto, “o fato de que apenas três trechos de copiar e colar tiveram que ser anexados ao prompt para criar uma narrativa crível o suficiente sugere que não será tão difícil fazer com que o GPT-3 escreva um artigo ou artigo de opinião, mesmo em relação a assuntos complexos”, observou o relatório.
Mas, com conteúdo de formato longo, como outros pesquisadores apontaram, o GPT-3 às vezes quebra uma frase no meio, sugerindo que editores humanos ainda serão necessários para criar ou pelo menos revisar textos, maliciosos ou não – por enquanto.
Por fim, embora o relatório destaque os perigos potenciais representados pelo GPT-3, ele falha em propor qualquer solução para lidar com essas ameaças. Sem uma estrutura clara para mitigar os riscos apresentados pelo GPT-3, qualquer esforço para proteger contra o uso malicioso dessas tecnologias será ineficaz, alerta.
O ponto principal, de acordo com os pesquisadores, é que grandes modelos de linguagem fornecem aos criminosos melhores ferramentas para criar comunicações direcionadas em seus ataques cibernéticos – especialmente aqueles sem as habilidades de escrita e conhecimento cultural necessários para redigir esse tipo de texto por conta própria. Isso significa que continuará a ficar mais difícil para os provedores de plataforma e as vítimas de fraudes pretendidas identificar conteúdo malicioso e falso escrito por uma IA.
“Precisaremos de mecanismos para identificar conteúdo malicioso gerado por grandes modelos de linguagem”, disseram os autores. “Um passo em direção ao objetivo seria identificar que o conteúdo foi gerado por esses modelos. No entanto, isso por si só não seria suficiente, uma vez que grandes modelos de linguagem também serão usados para gerar conteúdo legítimo.”
Além de usar o GPT-3 para ajudar a gerar definições, os autores também pediram à IA para revisar suas pesquisas. E em um dos exemplos, o robô acerta:
“Embora o relatório faça um excelente trabalho ao destacar os perigos potenciais representados pelo GPT-3, ele falha em propor qualquer solução para lidar com essas ameaças”, disse a revisão gerada pelo GPT-3. “Sem uma estrutura clara para mitigar os riscos apresentados pelo GPT-3, qualquer esforço para proteger contra o uso malicioso dessas tecnologias será ineficaz”. ®
.
