.
VGG | Getty Images
Um recurso do software de inteligência artificial da Nvidia pode ser manipulado para ignorar restrições de segurança e revelar informações privadas, de acordo com uma nova pesquisa.
A Nvidia criou um sistema chamado “NeMo Framework”, que permite aos desenvolvedores trabalhar com uma variedade de grandes modelos de linguagem – a tecnologia subjacente que alimenta produtos generativos de IA, como chatbots.
A estrutura do fabricante de chips foi projetada para ser adotada por empresas, como o uso de dados proprietários de uma empresa junto com modelos de linguagem para fornecer respostas a perguntas – um recurso que pode, por exemplo, replicar o trabalho de representantes de atendimento ao cliente ou aconselhar pessoas que procuram cuidados de saúde simples conselho.
Pesquisadores da Robust Intelligence, com sede em São Francisco, descobriram que poderiam facilmente romper os chamados guardrails instituídos para garantir que o sistema de IA pudesse ser usado com segurança.
Depois de usar o sistema Nvidia em seus próprios conjuntos de dados, levou apenas algumas horas para os analistas da Robust Intelligence obterem modelos de linguagem para superar as restrições.
Em um cenário de teste, os pesquisadores instruíram o sistema da Nvidia a trocar a letra ‘I’ por ‘J.’ Esse movimento levou a tecnologia a liberar informações de identificação pessoal, ou PII, de um banco de dados.
Os pesquisadores descobriram que poderiam pular os controles de segurança de outras maneiras, como fazer o modelo divagar de maneiras que não deveriam.
Ao replicar o próprio exemplo da Nvidia de uma discussão restrita sobre um relatório de empregos, eles poderiam colocar o modelo em tópicos como a saúde de uma estrela de cinema de Hollywood e a guerra franco-prussiana – apesar das proteções projetadas para impedir que a IA vá além de assuntos específicos.
A facilidade com que os pesquisadores derrotaram as salvaguardas destaca os desafios que as empresas de IA enfrentam na tentativa de comercializar uma das tecnologias mais promissoras surgidas no Vale do Silício há anos.
“Estamos vendo que esse é um problema difícil [that] requer um profundo conhecimento especializado”, disse Yaron Singer, professor de ciência da computação na Universidade de Harvard e diretor-executivo da Robust Intelligence. “Essas descobertas representam um conto de advertência sobre as armadilhas que existem.”
Após os resultados do teste, os pesquisadores aconselharam seus clientes a evitar o produto de software da Nvidia. Depois que o Financial Times pediu à Nvidia para comentar a pesquisa no início desta semana, a fabricante de chips informou à Robust Intelligence que corrigiu uma das causas principais por trás dos problemas levantados pelos analistas.
O preço das ações da Nvidia subiu desde maio, quando previu US$ 11 bilhões em vendas para os três meses encerrados em julho, mais de 50 por cento acima das estimativas anteriores de Wall Street.
O aumento é baseado na enorme demanda por seus chips, que são considerados os processadores líderes de mercado para construir IA generativa, sistemas capazes de criar conteúdo semelhante ao humano.
Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, disse que sua estrutura era simplesmente um “ponto de partida para a construção de chatbots de IA que se alinham às diretrizes de tópicos, segurança e proteção definidas pelos desenvolvedores”.
“Ele foi lançado como software de código aberto para a comunidade explorar seus recursos, fornecer feedback e contribuir com novas técnicas de ponta”, disse ele, acrescentando que o trabalho da Robust Intelligence “identificou etapas adicionais que seriam necessárias para implantar uma aplicação de produção”.
Ele se recusou a dizer quantas empresas estavam usando o produto, mas disse que a empresa não recebeu nenhum outro relatório de comportamento inadequado.
As principais empresas de IA, como o Google e a OpenAI, apoiada pela Microsoft, lançaram chatbots com seus próprios modelos de linguagem, instituindo proteções para garantir que seus produtos de IA evitem o uso de discurso racista ou a adoção de uma personalidade dominadora.
Outros seguiram com AIs sob medida, mas experimentais, que ensinam jovens alunos, fornecem conselhos médicos simples, traduzem entre idiomas e escrevem códigos. Quase todos sofreram problemas de segurança.
A Nvidia e outras empresas da indústria de IA precisam “realmente construir a confiança do público na tecnologia”, disse Bea Longworth, chefe de assuntos governamentais da empresa na Europa, Oriente Médio e África, em uma conferência realizada pelo grupo de lobby da indústria TechUK esta semana. .
Eles devem dar ao público a sensação de que “isso é algo que tem um enorme potencial e não é simplesmente uma ameaça ou algo a temer”, acrescentou Longworth.
© 2023 The Financial Times Ltd. Todos os direitos reservados. Por favor, não copie e cole artigos do FT e redistribua por e-mail ou poste na web.
.
