.
A IA generativa está em alta hoje em dia, mas sua rápida adoção pode causar problemas. Em uma série de eventos dramáticos e um tanto cômicos, o Symphony Assistant do TikTok foi usado para criar avatares de IA, recitando roteiros problemáticos como Mein Kampf de Hitler e “Carta à América” de Osama Bin Laden.
A TikTok anunciou Symphony Avatars no mês passado como parte de seu “Creative AI Suite”, que visa ajudar a criar vídeos personalizados sem a necessidade de contratar atores reais. O recurso foi lançado na semana passada para contas do TikTok Ads Manager ou deveria ser limitado a essas contas.
O produtor da CNN e criador de conteúdo digital Jon Sarlin obteve acesso à ferramenta de IA usando sua conta pessoal e descobriu que não há salvaguardas quando se trata de conteúdo confidencial.
A IA generativa é amplamente utilizada em todo o mundo da tecnologia, e o TikTok não é exceção. A plataforma anunciou Symphony Avatars pela primeira vez no mês passado como parte de seu “Creative AI Suite”, permitindo que empresas, marcas e criadores criem anúncios totalmente personalizados usando IA generativa e imagens de atores pagos (avatares).
Esse recurso foi lançado no início desta semana, mas apenas para pessoas com uma conta do TikTok Ads Manager. No entanto, parece que esta limitação não foi implementada por um breve período, com um repórter da CNN obtendo acesso a uma das ferramentas Symphony AI usando sua conta pessoal. Isso fez com que o repórter não encontrasse praticamente nenhuma proteção ou proteção nesta ferramenta de IA.
Uh-oh! O TikTok está em apuros mais uma vez!
Em uma postagem no X (antigo Twitter), Sarlin mostrou alguns exemplos de vídeos, criados com o Symphony Assistant, incluindo avatares, recitando os roteiros problemáticos mencionados acima. O que é ainda pior é que não havia marcas d’água ou qualquer indicação nos vídeos que mostrasse que eles foram gerados por IA.
Sem surpresa, a CNN procurou o TikTok para comentar e recebeu a seguinte declaração: “Um erro técnico, que agora foi resolvido, permitiu que um número extremamente pequeno de usuários criasse conteúdo usando uma versão de teste interno da ferramenta por alguns dias. Se a CNN tivesse tentado enviar o conteúdo prejudicial que criou, esse conteúdo teria foi rejeitado por violar nossas políticas, o TikTok é líder do setor na criação responsável de AIGC e continuaremos a testar e desenvolver as mitigações de segurança que aplicamos a todos os produtos TikTok antes do lançamento público.
Não está claro se o TikTok lançou acidentalmente uma “versão de teste interno” da ferramenta de IA ou simplesmente deixou de colocar os filtros e mecanismos de proteção apropriados, mas agora o problema foi resolvido, de acordo com o TikTok (entendemos que o Symphony Assistant foi retirado, Pelo menos por enquanto).
A IA não irá a lugar nenhum tão cedo, então espere que mais histórias como esta apareçam. O que você acha disso? A IA é apenas uma ferramenta e somos nós, humanos, que a usamos de forma antiética. Mas deveria haver mecanismos para prevenir tais contratempos, certo?
.
