.
meio da jornada
Na quinta-feira, a Casa Branca anunciou uma colaboração surpreendente entre os principais desenvolvedores de IA, incluindo OpenAI, Google, Anthropic, Hugging Face, Microsoft, Nvidia e Stability AI, para participar de uma avaliação pública de seus sistemas de IA generativa na DEF CON 31, uma convenção de hackers que acontecerá em Las Vegas em agosto. O evento será organizado pela AI Village, uma comunidade de hackers de IA.
Desde o ano passado, grandes modelos de linguagem (LLMs), como o ChatGPT, tornaram-se uma maneira popular de acelerar as tarefas de redação e comunicação, mas as autoridades reconhecem que eles também apresentam riscos inerentes. Questões como confabulações, jailbreaks e preconceitos representam desafios para os profissionais de segurança e para o público. É por isso que o Escritório de Ciência, Tecnologia e Política da Casa Branca endossa levar esses novos modelos de IA generativa aos seus limites.
“Este exercício independente fornecerá informações críticas aos pesquisadores e ao público sobre os impactos desses modelos e permitirá que empresas e desenvolvedores de IA tomem medidas para corrigir os problemas encontrados nesses modelos”, diz um comunicado da Casa Branca, que diz que o evento alinha-se com a Declaração de Direitos de IA do governo Biden e com a Estrutura de Gerenciamento de Risco de IA do Instituto Nacional de Padrões e Tecnologia.
Em um anúncio paralelo escrito pela AI Village, os organizadores Sven Cattell, Rumman Chowdhury e Austin Carson chamam o próximo evento de “o maior exercício de equipe vermelha de todos os tempos para qualquer grupo de modelos de IA”. Milhares de pessoas participarão da avaliação pública do modelo de IA, que utilizará uma plataforma de avaliação desenvolvida pela Scale AI.
“Red-teaming” é um processo pelo qual os especialistas em segurança tentam encontrar vulnerabilidades ou falhas nos sistemas de uma organização para melhorar a segurança e resiliência geral.
De acordo com Cattell, o fundador da AI Village, “os diversos problemas com esses modelos não serão resolvidos até que mais pessoas saibam como red team e avaliá-los”. Ao conduzir o maior exercício de red-teaming para qualquer grupo de modelos de IA, AI Village e DEF CON visam aumentar a comunidade de pesquisadores equipados para lidar com vulnerabilidades em sistemas de IA.
Os LLMs se mostraram surpreendentemente difíceis de bloquear, em parte devido a uma técnica chamada “injeção imediata”, sobre a qual divulgamos uma história em setembro. O pesquisador de IA Simon Willison escreveu em detalhes sobre os perigos da injeção imediata, uma técnica que pode inviabilizar um modelo de linguagem para executar ações não pretendidas por seu criador.
Durante o evento DEF CON, os participantes terão acesso cronometrado a vários LLMs por meio de laptops fornecidos pelos organizadores. Um sistema de pontos no estilo capture-the-flag incentivará o teste de uma ampla gama de danos potenciais. No final, a pessoa com mais pontos ganhará uma GPU Nvidia de ponta.
“Publicaremos o que aprendermos com este evento para ajudar outras pessoas que queiram tentar a mesma coisa”, escreve AI Village. “Quanto mais pessoas souberem como trabalhar melhor com esses modelos e suas limitações, melhor.”
A DEF CON 31 acontecerá de 10 a 13 de agosto de 2023, no Caesar’s Forum em Las Vegas.
.
