.
Esta é a primeira vez que a IA é usada para descobrir automaticamente vulnerabilidades nesse tipo de sistema, exemplos das quais são usadas pelo Google Maps e Facebook.
Os especialistas, do Grupo de Privacidade Computacional da Imperial, analisaram ataques a sistemas baseados em consultas (QBS) – interfaces controladas por meio das quais os analistas podem consultar dados para extrair informações agregadas úteis sobre o mundo. Eles então desenvolveram um novo método habilitado para IA chamado QuerySnout para detectar ataques ao QBS.
O QBS dá aos analistas acesso a coleções de estatísticas coletadas de dados de nível individual, como localização e dados demográficos. Atualmente, eles são usados no Google Maps para mostrar informações ao vivo sobre a ocupação de uma área ou no recurso de medição de público do Facebook para estimar o tamanho do público em um determinado local ou demográfico para ajudar nas promoções de publicidade.
Em seu novo estudo, publicado como parte da 29th ACM Conference on Computer and Communications Security, a equipe, incluindo Ana Maria Cretu, do Data Science Institute, Dr. contra QBS pode ser facilmente detectado automaticamente ao pressionar um botão.
De acordo com o autor sênior Dr Yves-Alexandre de Montjoye: “Até agora, os ataques foram desenvolvidos manualmente usando especialistas altamente qualificados. Isso significa que estava demorando muito para que as vulnerabilidades fossem descobertas, o que deixa os sistemas em risco.
“OuerySnout já está superando os humanos na descoberta de vulnerabilidades em sistemas do mundo real.”
A necessidade de sistemas baseados em consultas
Nossa capacidade de coletar e armazenar dados explodiu na última década. Embora esses dados possam ajudar a impulsionar avanços científicos, a maioria é pessoal e, portanto, seu uso levanta sérias preocupações de privacidade, protegidas por leis como o Regulamento Geral de Proteção de Dados da UE.
Portanto, permitir que os dados sejam usados para sempre, preservando nosso direito fundamental à privacidade, é uma questão oportuna e crucial para cientistas de dados e especialistas em privacidade.
O QBS tem o potencial de permitir a análise de dados anônimos que preserva a privacidade em escala. No QBS, os curadores mantêm o controle sobre os dados e, portanto, podem verificar e examinar as consultas enviadas pelos analistas para garantir que as respostas retornadas não revelem informações particulares sobre os indivíduos.
No entanto, invasores ilegais podem contornar esses sistemas projetando consultas para inferir informações pessoais sobre pessoas específicas, explorando vulnerabilidades ou bugs de implementação do sistema.
Testando o sistema
Os riscos de ataques de “dia zero” fortes e desconhecidos, nos quais os invasores capitalizam as vulnerabilidades dos sistemas, paralisaram o desenvolvimento e a implantação do QBS.
Para testar a robustez desses sistemas, de forma semelhante aos testes de penetração em segurança cibernética, ataques de violação de dados podem ser simulados para detectar vazamentos de informações e identificar possíveis vulnerabilidades.
No entanto, projetar e implementar manualmente esses ataques contra QBS complexo é um processo difícil e demorado.
Portanto, dizem os pesquisadores, limitar o potencial de ataques fortes e não mitigados é essencial para permitir que o QBS seja implementado de maneira útil e segura, preservando os direitos individuais à privacidade.
QuerySnout
A equipe do Imperial desenvolveu um novo método habilitado para IA chamado QuerySnout, que funciona aprendendo quais perguntas fazer ao sistema para obter respostas. Em seguida, ele aprende a combinar as respostas automaticamente para detectar possíveis vulnerabilidades de privacidade.
Ao usar o aprendizado de máquina, o modelo pode criar um ataque que consiste em uma coleção de consultas que combina as respostas para revelar uma determinada informação privada. Esse processo é totalmente automatizado e usa uma técnica chamada ‘pesquisa evolutiva’ que permite que o modelo QuerySnout descubra os conjuntos corretos de perguntas a serem feitas.
Isso ocorre em uma ‘configuração de caixa preta’, o que significa que a IA precisa apenas acessar o sistema, mas não precisa saber como o sistema funciona para detectar as vulnerabilidades.
A co-primeira autora Ana-Maria Cretu disse: “Nós demonstramos que o QuerySnout encontra ataques mais poderosos do que aqueles atualmente conhecidos em sistemas do mundo real. Isso significa que nosso modelo de IA é melhor do que os humanos para encontrar esses ataques”.
Próximos passos
Atualmente, o QuerySnout testa apenas um pequeno número de funcionalidades. De acordo com o Dr de Montjoye: “O principal desafio daqui para frente será dimensionar a pesquisa para um número muito maior de funcionalidades para garantir que ela descubra até os ataques mais avançados”.
Apesar disso, o modelo pode permitir que os analistas testem a robustez do QBS contra diferentes tipos de invasores. O desenvolvimento do QuerySnout representa um passo fundamental para garantir a privacidade individual em relação aos sistemas baseados em consultas.
QuerySnout: Automating the Discovery of Attribute Interference Attacks against Query-Based Systems por AM Cretu, F. Houssiau, A. Cully e YA de Montjoye, publicado em 7 de novembro de 2022 nos Anais da Conferência ACM SIGSAC de 2022 sobre Segurança de Computadores e Comunicações.
.
