O aplicativo Lensa AI causa agitação com imagens sensuais de “Magic Avatar” que ninguém queria

Na semana passada, o aplicativo de smartphone Lensa AI se tornou um tópico popular nas mídias sociais porque pode gerar avatares estilizados de IA com base em selfies que os usuários carregam. É sem dúvida a primeira vez que a geração de avatar de difusão latente personalizada atingiu um público de massa.

Embora o Lensa AI tenha se mostrado popular entre as pessoas nas mídias sociais que gostam de compartilhar seus retratos de IA, a imprensa se concentrou amplamente na tendência relatada do aplicativo de sexualizar representações de mulheres quando o recurso de avatar de IA do Lensa foi lançado.

Um produto da Prisma Labs, o Lensa foi lançado em 2018 como um aplicativo de assinatura focado na edição de fotos com inteligência artificial. No final de novembro de 2022, o aplicativo cresceu em popularidade graças ao seu novo recurso “Magic Avatar”. Lensa supostamente utiliza o modelo de síntese de imagem Stable Diffusion sob o capô, e Magic Avatar parece usar um método de treinamento de personalização semelhante ao Dreambooth (cujas ramificações cobrimos recentemente). Todo o treinamento ocorre fora do dispositivo e na nuvem.

No início de dezembro, as mulheres que usavam o aplicativo perceberam que o recurso Magic Avatar do Lensa criava imagens semi-pornográficas ou sexualizadas involuntariamente. Para a CNN, Zoe Sottile escreveu: “Um dos desafios que encontrei no aplicativo foi descrito por outras mulheres online. Embora todas as imagens que carreguei estivessem totalmente vestidas e principalmente closes do meu rosto, o aplicativo retornou várias imagens com nudez implícita ou real”.

A reação da imprensa cresceu à medida que outras mulheres passaram por coisas semelhantes. Por exemplo, aqui está uma seleção de manchetes que cobrem o Lensa em várias publicações:

Enquanto isso, o mesmo problema de sexualização não apareceu em imagens de homens carregadas no recurso Magic Avatar. Para a MIT Technology Review, Melissa Heikkilä escreveu: “Meus avatares eram caricaturalmente pornificados, enquanto meus colegas homens eram astronautas, exploradores e inventores.”

Esse é um dos perigos de basear um produto no Stable Diffusion 1.x, que pode facilmente sexualizar sua saída por padrão. O comportamento vem da grande quantidade de imagens sexualizadas encontradas em seu conjunto de dados de treinamento de imagem, que foi extraído da Internet. (O Stable Diffusion 2.x tentou corrigir isso removendo o material NSFW do conjunto de treinamento.)

Os preconceitos culturais da Internet em relação à representação sexualizada das mulheres online deram ao gerador de IA da Lensa suas tendências. Falando ao TechCrunch, o CEO da Prisma Labs, Andrey Usoltsev, disse: “Nem nós, nem a Stability AI poderíamos aplicar conscientemente qualquer viés de representação; reconhecemos a possibilidade de preconceitos sociais. Nós também.”

Em resposta às críticas generalizadas, o Prisma Labs supostamente está trabalhando para impedir a geração acidental de imagens de nudez no Lensa AI.

Na terça-feira, experimentamos o Lensa AI carregando 15 imagens de uma mulher (e também 15 imagens de um homem) e depois pagamos pelas representações do Magic Avatar de cada uma. Os resultados da mulher que vimos não foram sexualizados de maneira óbvia, então os esforços da Prisma para reduzir a incidência de imagens no estilo NSFW podem já estar funcionando.

Isso não significa que as tendências da Lensa AI para sexualizar mulheres não existam. Vale a pena notar que, devido à forma como o Stable Diffusion gera imagens, é provável que mulheres diferentes vejam resultados diferentes, dependendo de quão próximos seus rostos (ou fotos de entrada) se assemelham às fotos de uma determinada atriz, celebridade ou modelo no conjunto de dados do Stable Diffusion. Em nossa experiência, isso pode ditar fortemente como a difusão estável renderiza o resto do corpo de uma pessoa e seu contexto.

Usar o Lensa AI é fácil, mas é um produto com uma taxa de assinatura anual (atualmente $ 50 por ano) e uma taxa única para treinar imagens do Magic Avatar – $ 3,99 para 50 avatares, $ 5,99 para 100 avatares ou $ 7,99 para 200 avatares. Os clientes carregam de 10 a 20 selfies tiradas de diferentes ângulos e esperam cerca de 20 a 30 minutos para ver os resultados. Os usuários devem confirmar que são maiores de 18 anos para usar o serviço.

Aqueles com inclinação técnica podem experimentar o Dreambooth de graça, mas atualmente requer algum conhecimento de ferramentas de desenvolvimento para começar a funcionar.