.
Uma empresa de tecnologia de voz que usa inteligência artificial (IA) para gerar fala realista diz que introduzirá proteções extras depois que sua ferramenta gratuita foi usada para gerar vozes de celebridades lendo declarações altamente inapropriadas.
A ElevenLabs lançou o chamado pacote de clonagem de voz no início deste mês.
Ele permite que os usuários façam upload de clipes de alguém falando, que são usados para gerar uma voz artificial.
Isso pode então ser aplicado ao recurso de síntese de fala de conversão de texto em fala da empresa, que por padrão oferece uma lista de caracteres com vários sotaques que podem ler até 2.500 caracteres de texto de uma só vez.
Consulte Mais informação:
Guerra na Ucrânia: vídeo deepfake de Zelenskyy dizendo aos ucranianos para ‘depor as armas’ desmascarado
‘Google’ não mais? Como a IA pode mudar a forma como pesquisamos na web
Não demorou muito para que a internet em geral começasse a experimentar a tecnologia, inclusive no infame site de imagens anônimas 4chan, onde os clipes gerados incluíam a atriz de Harry Potter, Emma Watson, lendo uma passagem de Mein Kampf, de Adolf Hitler.
Outros arquivos encontrados pela Strong The One incluíam o que soa como Joe Biden anunciando que as tropas dos EUA irão para a Ucrânia, e um desbocado David Attenborough gabando-se de uma carreira nos Navy Seals.
O diretor de cinema James Cameron, a estrela de Top Gun Tom Cruise e o podcaster Joe Rogan foram alvos, e também há clipes de personagens fictícios, muitas vezes lendo mensagens profundamente ofensivas, racistas ou misóginas.
‘Fim de semana louco’
Em uma declaração no Twitter, a ElevenLabs – fundada no ano passado pelo ex-engenheiro do Google Piotr Dabkowski e pelo ex-estrategista da Palantir Mati Staniszewski – pediu feedback sobre como evitar o uso indevido de sua tecnologia.
“Fim de semana louco – obrigado a todos por experimentar nossa plataforma Beta”, disse.
“Embora vejamos nossa tecnologia sendo aplicada de forma esmagadora para uso positivo, também vemos um número crescente de casos de uso indevido de clonagem de voz. Queremos entrar em contato com a comunidade do Twitter para ideias e feedback!”
A empresa disse que, embora pudesse “rastrear qualquer áudio gerado” até o usuário que o produziu, também queria introduzir “proteções adicionais”.
Sugeriu exigir verificações adicionais da conta, como solicitar detalhes de pagamento ou identidade; verificar os direitos autorais de alguém sobre os clipes que eles carregam; ou descartar a ferramenta completamente para verificar manualmente cada solicitação de clonagem de voz.
Mas até a manhã desta terça-feira, a ferramenta permanecia online no mesmo estado.
O site da empresa sugere que sua tecnologia poderá um dia ser usada para dar voz a artigos, boletins, livros, material educacional, videogames e filmes.
A Strong The One entrou em contato com a ElevenLabs para mais comentários.
Use o navegador Chrome para um player de vídeo mais acessível
‘Pornô deepfake me violou’
Perigos da mídia gerada por IA
A enxurrada de clipes de voz inapropriados é um lembrete dos perigos de liberar ferramentas de IA na esfera pública sem salvaguardas suficientes – exemplos anteriores incluem um chatbot da Microsoft que teve de ser desativado depois de ser rapidamente ensinado a dizer coisas ofensivas.
No início deste mês, pesquisadores da gigante da tecnologia anunciaram que criaram uma IA de conversão de texto em fala chamada VALL-E, que pode simular a voz de uma pessoa com base em apenas três segundos de áudio.
Eles disseram que não liberariam a ferramenta ao público porque “ela pode trazer riscos potenciais”, incluindo pessoas “falsificando a identificação de voz ou se passando por um orador específico”.
A tecnologia apresenta muitos dos mesmos desafios dos vídeos deepfake, que se tornaram cada vez mais difundidos na internet.
Ano passado, um vídeo deepfake de Volodymyr Zelenskyy dizendo aos ucranianos para “deporem as armas” foi compartilhado online.
Surgiu após o criador de uma série de deepfakes realistas de Tom Cruise, embora clipes mais alegres pretendem mostrar o ator fazendo truques de mágica e jogando golfealertou os telespectadores sobre o potencial da tecnologia.
.
