.
Análise Apesar do hype em torno de criminosos usando ChatGPT e vários outros modelos de linguagem grandes para facilitar a tarefa de escrever malware, parece que essa tecnologia de IA generativa não é muito boa para ajudar nesse tipo de trabalho.
Essa é nossa opinião, tendo visto pesquisas esta semana que indicam que, embora alguns criminosos estejam interessados em usar modelos de ML que sugerem fontes, a tecnologia não está sendo amplamente usada para criar códigos maliciosos. Presumivelmente, isso ocorre porque esses sistemas generativos não estão à altura do trabalho ou têm proteções suficientes para tornar o processo tedioso o suficiente para que os cibercriminosos desistam.
Se você deseja explorações úteis e confiáveis e ferramentas pós-intrusão, terá que pagar caro por elas, obtê-las gratuitamente em algum lugar como o GitHub ou ter as habilidades de programação, paciência e tempo para desenvolvê-las do zero. A IA não fornecerá o atalho que um malfeitor pode esperar, e sua aceitação entre os cibercriminosos está no mesmo nível do resto do mundo da tecnologia, nos disseram.
Estudos
Em dois relatórios publicados esta semana, a Trend Micro e a Mandiant do Google avaliam a tecnologia de IA e ambas chegam à mesma conclusão: os fanáticos da Internet estão interessados em usar IA generativa para fins nefastos, embora, na realidade, o uso permaneça limitado.
“A AI ainda está em seus primeiros dias no submundo do crime”, pesquisadores da Trend Micro David Sancho e Vincenzo Ciancaglini escreveu na terça-feira.
“Os avanços que estamos vendo não são inovadores; na verdade, eles estão se movendo no mesmo ritmo de qualquer outro setor”, disseram os dois.
Enquanto isso, Michelle Cantos, Sam Riddell e Alice Revelli, da Mandiant, rastreiam o uso de IA dos criminosos desde pelo menos 2019. Em pesquisa publicada na quinta-feira, eles observou que a “adoção de IA em operações de intrusão permanece limitada e principalmente relacionada à engenharia social”.
As duas equipes de inteligência de ameaças chegaram a conclusões semelhantes sobre como os criminosos estão usando IA para atividades ilícitas. Resumindo: gerar texto e outras mídias para atrair marcas para páginas de phishing e golpes semelhantes, e não tanto automatizar o desenvolvimento de malware.
“O ChatGPT funciona melhor na criação de textos que pareçam verossímeis, que podem ser abusados em campanhas de spam e phishing”, escreveu a equipe da Trend Micro, observando que alguns produtos vendidos em fóruns criminosos começaram a incorporar uma interface ChatGPT que permite aos compradores criar e-mails de phishing.
“Por exemplo, observamos um software de manipulação de spam chamado GoMailPro, que suporta contas AOL Mail, Gmail, Hotmail, Outlook, ProtonMail, T-Online e Zoho Mail, que é usado principalmente por criminosos para enviar e-mails de spam. às vítimas”, disseram Sancho e Ciancaglini. “Em 17 de abril de 2023, o autor do software anunciou no tópico de vendas GoMailPro que o ChatGPT foi supostamente integrado ao software GoMailPro para redigir e-mails de spam.”
além de ajudar criar e-mails de phishing ou outros golpes de engenharia social – especialmente em idiomas que os criminosos não falam – a IA também é boa na produção de conteúdo para campanhas de desinformação, incluindo áudio e imagens deep-fake.
LLMs difusos
Uma coisa em que a IA é boa, de acordo com o Google, é fuzzing, também conhecido como teste fuzz, a prática de automatizar a detecção de vulnerabilidades injetando dados aleatórios e/ou cuidadosamente elaborados em software para acionar e descobrir bugs exploráveis.
“Usando LLMs, podemos aumentar a cobertura de código para projetos críticos usando nosso Serviço OSS-Fuzz sem escrever código adicional manualmente”, Dongge Liu, Jonathan Metzman e Oliver Chang da equipe de segurança de código aberto do Google escreveu na quarta-feira.
“O uso de LLMs é uma nova maneira promissora de escalar melhorias de segurança nos mais de 1.000 projetos atualmente fuzzed pelo OSS-Fuzz e remover barreiras para projetos futuros que adotam fuzzing”, acrescentaram.
Embora esse processo envolvesse um pouco de engenharia imediata e outros trabalhos, a equipe disse que finalmente viu ganhos de projeto entre 1,5% e 31% de cobertura de código.
E durante os próximos meses, os Googlers dizem que abrirão o código da estrutura de avaliação para que outros pesquisadores possam testar sua própria geração automática de alvos fuzz.
A Mandiant, por sua vez, separa os recursos de geração de imagens em duas categorias: redes adversárias generativas (GANs) que podem ser usadas para criar fotos realistas de pessoas e modelos geradores de texto para imagem que podem produzir imagens personalizadas a partir de prompts de texto.
Embora as GANs tendam a ser mais comumente usadas, especialmente por grupos de ameaças de estado-nação, “os modelos de texto para imagem provavelmente também representam uma ameaça enganosa mais significativa do que as GANs”, porque podem ser usados para apoiar narrativas enganosas e notícias falsas, de acordo com o trio Mandiant.
Isso inclui os traficantes de propaganda pró-China Dragonbridge, que também usam vídeos gerados por IA, por exemplo, para produzir “segmentos de notícias” curtos.
Ambos os relatórios reconhecem que os criminosos estão curiosos sobre o uso LLMs para fazer malwaremas isso não se traduz necessariamente em código real em estado selvagem.
Como os desenvolvedores legítimos também descobriram, a IA pode ajudar a refinar o código, desenvolver trechos de código-fonte e funções padronizadas e facilitar a aquisição de linguagens de programação desconhecidas. No entanto, permanece o fato de que você precisa ter algum nível de proficiência técnica para usar IA para escrever malware e provavelmente ainda exigirá um codificador humano para verificar e fazer correções.
Portanto, qualquer pessoa que use IA para escrever malware realista e utilizável provavelmente pode escrever esse código de qualquer maneira. O LLM estaria lá principalmente para acelerar o desenvolvimento, potencialmente, em vez de conduzir uma linha de montagem automatizada de ransomware e exploits.
O que poderia estar segurando os malfeitores? São parcialmente restrições impostas aos LLMs para evitar que sejam usados para o mal e, como tal, pesquisadores de segurança identificaram alguns criminosos. serviços de publicidade aos seus pares que podem contornar as salvaguardas dos modelos.
Além disso, como aponta a Trend Micro, há muita conversa sobre os prompts de jailbreak do ChatGPT, especialmente na seção “Dark AI” nos fóruns de hack.
Como os criminosos estão dispostos a pagar por esses serviços, alguns especulam que, “no futuro, pode haver os chamados ‘engenheiros imediatos’”, segundo Sancho e Ciancaglini, que acrescentam: “Reservamos nosso julgamento sobre essa previsão. ” ®
.
