.
A DEF CON AI Village deste ano convidou hackers para aparecer, mergulhar e encontrar bugs e vieses em modelos de linguagem grande (LLMs) construídos pela OpenAI, Google, Anthropic e outros.
O evento colaborativo, que os organizadores do AI Village descrevem como “o maior exercício de equipe vermelha de todos os tempos para qualquer grupo de modelos de IA”, receberá “milhares” de pessoas, incluindo “centenas de estudantes de instituições e comunidades negligenciadas”, todos os quais serão encarregado de encontrar falhas nos LLMs que alimentam os bots de bate-papo atuais e a IA generativa.
Pense: bugs tradicionais no código, mas também problemas mais específicos do aprendizado de máquina, como viés, alucinações e jailbreaks – todos os quais os profissionais éticos e de segurança agora precisam lidar à medida que essas tecnologias aumentam.
A DEF CON acontecerá de 10 a 13 de agosto deste ano em Las Vegas, EUA.
Os diversos problemas com esses modelos não serão resolvidos até que mais pessoas saibam como red team e avaliá-los
“Tradicionalmente, as empresas têm resolvido esse problema com equipes vermelhas especializadas. No entanto, esse trabalho tem acontecido em grande parte em particular”, disse Sven Cattell, fundador da AI Village, em um declaração. “Os diversos problemas com esses modelos não serão resolvidos até que mais pessoas saibam como red team e avaliá-los.”
O cientista de dados deseja ver recompensas de bugs e eventos de hacking ao vivo modificados em geral para caber em sistemas baseados em modelo de ML. “Eles preenchem duas necessidades com uma ação, abordando os danos e aumentando a comunidade de pesquisadores que sabem como ajudar”, disse Cattell.
Para aqueles que participarem da equipe vermelha neste verão, o AI Village fornecerá laptops e acesso programado a LLMs de vários fornecedores. Atualmente, isso inclui modelos da Anthropic, Google, Hugging Face, Nvidia, OpenAI e Stability. O anúncio do povo da vila também menciona que isso é “com a participação da Microsoft”, então talvez os hackers tentem o Bing. Solicitamos esclarecimentos sobre isso.
As equipes Red também terão acesso a uma plataforma de avaliação desenvolvida pela Scale AI.
Haverá um sistema de pontos no estilo capture a bandeira para promover o teste de “uma ampla gama de danos”, de acordo com o AI Village. Quem conseguir mais pontos ganha uma GPU Nvidia de ponta.
O evento também conta com o apoio do Escritório de Ciência, Tecnologia e Política da Casa Branca; Diretoria de Ciência e Engenharia da Computação e da Informação da National Science Foundation dos Estados Unidos; e o Congresso AI Caucus.
Além disso, o anúncio ocorre quando a vice-presidente dos EUA, Kamala Harris, e outros altos funcionários do governo Biden se reuniram com os chefes da OpenAI, Anthropic, Microsoft e Google para discutir o riscos que a IA representa aos indivíduos e à segurança nacional.
E, separadamente, Rumman Chowdhury, co-fundador de um grupo de especialistas que se autodenominam Bias Buccaneers, que defendem a transparência do algoritmo, discutido a necessidade de equipes vermelhas de IA na Conferência RSA do mês passado.
A Aldeia AI hospedou seu primeiro recompensa de viés público de aprendizado de máquina na DEF CON há dois anos. ®
.
