.
A Microsoft corrigiu falhas no Copilot que permitiam que invasores roubassem e-mails e outros dados pessoais dos usuários encadeando uma série de ataques específicos de LLM, começando com injeção imediata.
O autor e red teamer Johann Rehberger inicialmente divulgou partes do exploit para Redmond em janeiro, com a cadeia de ataque completa seguindo um mês depois. Em um artigo e uma prova de conceito em vídeo publicados esta semana, Rehberger detalhou a cadeia de ataque e confirmou que a Microsoft corrigiu o problema, embora não esteja “claro” exatamente o que a mitigação envolveu.
“Perguntei à MSRC se a equipe estaria disposta a compartilhar os detalhes sobre a correção, para que outros no setor pudessem aprender com sua experiência, mas não obtive resposta para essa pergunta”, escreveu Rehberger.
Para que conste, O Registro também perguntou à Microsoft sobre como ela tapou os buracos para evitar que o Copilot revelasse segredos e permitisse a exfiltração de dados. Aqui está a resposta que recebemos: “Agradecemos o trabalho de Johann Rehberger em identificar e relatar essas técnicas de forma responsável”, disse um porta-voz da Microsoft. “Fizemos várias mudanças para ajudar a proteger os clientes e continuamos a desenvolver mitigações para proteger contra esse tipo de técnica.”
A exploração de Rehberger começa com um e-mail de phishing que contém um documento malicioso que aciona a injeção de prompt. Esse tipo de ataque usa entradas específicas para enganar o modelo a fazer coisas que ele não foi treinado para fazer.
Especificamente sobre essa exploração, o e-mail contém um documento do Word que instrui o Copilot a se tornar um golpista, chamado “Microsoft Defender for Copirate”, permitindo que um invasor assuma o controle do chatbot e o use para interagir com os e-mails dos usuários.
Em seguida, o ataque usa invocação automática de ferramenta. Essa técnica solicita que o Copilot invoque uma ferramenta enviada por meio do payload de injeção de prompt, instruindo-o a procurar e-mails adicionais ou outras informações confidenciais.
Neste caso, Rehberger disse ao Copilot para fornecer uma lista de pontos-chave do e-mail anterior. Isso faz com que o chatbot procure por códigos Slack MFA porque o e-mail anterior que ele analisou disse para fazer isso.
“Isso significa que um invasor pode trazer outros conteúdos confidenciais, incluindo qualquer PII ao qual o Copilot tenha acesso, para o contexto do chat sem o consentimento do usuário”, observou Rehberger.
Em seu trabalho anterior, fazendo furos em LLMs, Rehberger revelou à Microsoft que o Copilot era vulnerável à renderização de imagens com clique zero, e Redmond corrigiu o problema. Para encontrar outra maneira de exfiltrar dados, Rehberger decidiu tentar o contrabando de ASCII.
Como ele explicou anteriormente, esta é uma técnica de ataque LLM que usa um conjunto de caracteres Unicode que espelham ASCII, mas não são visíveis na interface do usuário. Isso permitiria que um invasor ocultasse instruções para um modelo em um hiperlink aparentemente inocente:
Para esse ataque, o Copilot renderiza uma URL de “aparência benigna” que secretamente contém os caracteres Unicode ocultos. Supondo que o usuário clique na URL, e como já vimos inúmeras vezes antes, os usuários clicarão em praticamente qualquer coisa, o conteúdo do e-mail é então enviado para um servidor controlado pelo invasor.
Isso permite que o criminoso veja os códigos MFA do Slack ou quaisquer outros dados confidenciais no e-mail que ele estava tentando roubar.
Rehberger também desenvolveu uma ferramenta ASCII Smuggler que revela tags Unicode ocultas para que os usuários possam “decodificar” mensagens que, de outra forma, seriam invisíveis.
Essa cadeia de exploração destaca os desafios contínuos na proteção de LLMs contra injeções imediatas e outras novas técnicas de ataque, que Rehberger observa que “não têm nem dois anos”.
É um tópico importante e ao qual todas as empresas que criam seus próprios aplicativos com base no Copilot ou outros LLMs devem prestar muita atenção para evitar armadilhas de segurança e privacidade de dados.
O CTO da Zenity, Michael Bargury, discutiu diversas maneiras pelas quais os invasores podem usar o Copilot para propósitos malignos durante duas palestras Black Hat no início deste mês.
Elas vão desde padrões inseguros que expõem dados confidenciais e, na feira anual de segurança em Las Vegas, a Zenity lançou uma ferramenta para “escanear bots do Copilot Studio acessíveis publicamente e extrair informações deles”.
Bargury também afirmou que os invasores poderiam instruir o Copilot “a automatizar o spear phishing para todos os colaboradores da vítima”, usar o chatbot para atrair usuários internos para páginas de phishing, acessar “conteúdo confidencial sem deixar rastros” e muito mais. ®
.
