.
Imagens de James Marshall/Getty
Soheil Feizi se considera uma pessoa otimista. Mas o professor de ciência da computação da Universidade de Maryland é direto ao resumir o estado atual das marcas d’água em imagens de IA. “Não temos nenhuma marca d’água confiável neste momento”, diz ele. “Nós quebramos todos eles.”
Para um dos dois tipos de marca d’água de IA que ele testou para um novo estudo – marcas d’água de “baixa perturbação”, que são invisíveis a olho nu – ele é ainda mais direto: “Não há esperança”.
Feizi e seus co-autores observaram como é fácil para maus atores evitarem tentativas de marca d’água. (Ele chama isso de “lavar” a marca d’água.) Além de demonstrar como os invasores podem remover marcas d’água, o estudo mostra como é possível adicionar marcas d’água a imagens geradas por humanos, desencadeando falsos positivos. Lançado online esta semana, o artigo pré-impresso ainda não foi revisado por pares; Feizi tem sido uma figura importante na análise de como a detecção de IA pode funcionar, por isso é uma pesquisa à qual vale a pena prestar atenção, mesmo nesta fase inicial.
É uma pesquisa oportuna. A marca d’água emergiu como uma das estratégias mais promissoras para identificar imagens e textos gerados por IA. Assim como as marcas d’água físicas são incorporadas em papel-moeda e selos para provar a autenticidade, as marcas d’água digitais destinam-se a rastrear as origens de imagens e textos online, ajudando as pessoas a identificar vídeos deepfake e livros de autoria de bots. Com as eleições presidenciais dos EUA no horizonte em 2024, as preocupações com a manipulação dos meios de comunicação social são elevadas – e algumas pessoas já estão a ser enganadas. O ex-presidente dos EUA, Donald Trump, por exemplo, compartilhou um vídeo falso de Anderson Cooper em sua plataforma social Truth Social; A voz de Cooper foi clonada por IA.
Neste verão, OpenAI, Alphabet, Meta, Amazon e vários outros grandes players de IA se comprometeram a desenvolver tecnologia de marca d’água para combater a desinformação. No final de agosto, o DeepMind do Google lançou uma versão beta de sua nova ferramenta de marca d’água, SynthID. A esperança é que essas ferramentas sinalizem o conteúdo de IA à medida que ele é gerado, da mesma forma que a marca d’água física autentica os dólares à medida que são impressos.
É uma estratégia sólida e direta, mas pode não ser vencedora. Este estudo não é o único trabalho que aponta para as principais deficiências da marca d’água. “Está bem estabelecido que as marcas d’água podem ser vulneráveis a ataques”, diz Hany Farid, professor da Escola de Informação da UC Berkeley.
Em agosto deste ano, pesquisadores da Universidade da Califórnia, Santa Bárbara e da Carnegie Mellon foram coautores de outro artigo descrevendo descobertas semelhantes, após conduzirem seus próprios ataques experimentais. “Todas as marcas d’água invisíveis são vulneráveis”, diz. Este mais novo estudo vai ainda mais longe. Embora alguns investigadores tenham esperança de que marcas de água visíveis (“alta perturbação”) possam ser desenvolvidas para resistir a ataques, Feizi e os seus colegas dizem que mesmo este tipo mais promissor pode ser manipulado.
As falhas na marca d’água não dissuadiram os gigantes da tecnologia de oferecê-la como uma solução, mas as pessoas que trabalham no espaço de detecção de IA estão cautelosas. “A marca d’água a princípio parece uma solução nobre e promissora, mas suas aplicações no mundo real falham desde o início, quando podem ser facilmente falsificadas, removidas ou ignoradas”, diz Ben Colman, CEO da startup de detecção de IA Reality Defender.
“A marca d’água não é eficaz”, acrescenta Bars Juhasz, cofundador da Undetectable, uma startup dedicada a ajudar as pessoas a escapar dos detectores de IA. “Indústrias inteiras, como a nossa, surgiram para garantir que isso não fosse eficaz.” Segundo Juhasz, empresas como a dele já são capazes de oferecer serviços rápidos de remoção de marcas d’água.
Outros acham que a marca d’água tem um lugar na detecção de IA – desde que entendamos suas limitações. “É importante compreender que ninguém pensa que a marca d’água por si só será suficiente”, diz Farid. “Mas acredito que uma marca d’água robusta seja parte da solução.” Ele acredita que melhorar a marca d’água e usá-la em combinação com outras tecnologias tornará mais difícil para os malfeitores criarem falsificações convincentes.
Alguns colegas de Feizi acham que a marca d’água também tem o seu lugar. “Se isso representa um golpe para as marcas d’água depende muito das suposições e esperanças depositadas na marca d’água como solução”, diz Yuxin Wen, estudante de doutorado na Universidade de Maryland, coautor de um artigo recente sugerindo uma nova técnica de marca d’água. Para Wen e seus coautores, incluindo o professor de ciência da computação Tom Goldstein, este estudo é uma oportunidade para reexaminar as expectativas colocadas na marca d’água, em vez de uma razão para descartar seu uso como uma ferramenta de autenticação entre muitas.
“Sempre haverá atores sofisticados capazes de escapar da detecção”, diz Goldstein. “Não há problema em ter um sistema que só consegue detectar algumas coisas.” Ele vê as marcas d’água como uma forma de redução de danos e que vale a pena detectar tentativas de falsificação de IA de nível inferior, mesmo que não consigam impedir ataques de alto nível.
Esta moderação das expectativas pode já estar acontecendo. Em sua postagem no blog anunciando o SynthID, a DeepMind tem o cuidado de proteger suas apostas, observando que a ferramenta “não é infalível” e “não é perfeita”.
Feizi não acredita que a marca d’água seja um bom uso de recursos para empresas como o Google. “Talvez devêssemos nos acostumar com o fato de que não seremos capazes de sinalizar de forma confiável imagens geradas por IA”, diz ele.
Ainda assim, seu artigo é um pouco mais animador em suas conclusões. “Com base em nossos resultados, projetar uma marca d’água robusta é uma tarefa desafiadora, mas não necessariamente impossível”, diz o documento.
Esta história apareceu originalmente em wired.com.
.
