O Google se recusou a restabelecer a conta de um homem depois de sinalizar erroneamente imagens médicas que ele tirou da virilha de seu filho como material de abuso sexual infantil (CSAM), informou o New York Times pela primeira vez. Especialistas dizem que é uma armadilha inevitável tentar aplicar uma solução tecnológica a um problema social.
Especialistas há muito alertam sobre as limitações dos sistemas automatizados de detecção de imagens de abuso sexual infantil, principalmente como empresas enfrentam pressão regulatória e pública para ajudar a lidar com a existência de material de abuso sexual.
“Essas empresas têm acesso a uma quantidade tremendamente invasiva de dados sobre a vida das pessoas. E ainda assim eles não têm o contexto do que realmente é a vida das pessoas”, disse Daniel Kahn Gillmor, tecnólogo sênior da ACLU. “Há todo tipo de coisa em que apenas o fato de sua vida não é tão legível para esses gigantes da informação.” Ele acrescentou que o uso desses sistemas por empresas de tecnologia que “agem como proxies” para a aplicação da lei coloca as pessoas em risco de serem “varridas” pelo “poder do estado”. O homem, identificado apenas como Mark pelo New York Times, tirou fotos da virilha do filho para enviar a um médico após perceber que estava inflamada. O médico usou essa imagem para diagnosticar o filho de Mark e prescrever antibióticos. Quando as fotos foram carregadas automaticamente na nuvem, o sistema do Google as identificou como CSAM. Dois dias depois, o Gmail de Mark e outras contas do Google, incluindo o Google Fi, que fornece seu serviço telefônico, foram desativados por “conteúdo nocivo” que era “uma violação grave das políticas da empresa e pode ser ilegal”, informou o Times, citando um mensagem em seu telefone. Mais tarde, ele descobriu que o Google havia sinalizado outro vídeo que ele tinha em seu telefone e que o departamento de polícia de São Francisco abriu uma investigação sobre ele.
Mark foi inocentado de qualquer irregularidade criminal, mas O Google disse que manterá sua decisão.
“Seguimos a lei dos EUA ao definir o que constitui CSAM e usamos uma combinação de tecnologia de correspondência de hash e inteligência artificial para identificá-lo e removê-lo de nossas plataformas”, disse Christa Muldoon, porta-voz do Google.
Muldoon acrescentou que os funcionários do Google que analisam o CSAM foram treinados por especialistas médicos para procurar erupções cutâneas ou outros problemas. Eles próprios, no entanto, não eram especialistas médicos e especialistas médicos não foram consultados ao analisar cada caso, disse ela.
Isso é apenas uma maneira pela qual esses sistemas podem causar danos, de acordo com Gillmor. Para abordar, por exemplo, quaisquer limitações que os algoritmos possam ter na distinção entre imagens de abuso sexual nocivas e imagens médicas, as empresas geralmente têm um humano no circuito. Mas esses humanos são inerentemente limitados em seus conhecimentos, e obter o contexto adequado para cada caso requer mais acesso aos dados do usuário. Gillmor disse que era um processo muito mais intrusivo que ainda poderia ser um método ineficaz de detectar CSAM.
“Esses sistemas podem causar problemas reais para as pessoas”, disse ele. “E não é só que eu não acho que esses sistemas possam detectar todos os casos de abuso infantil, é que eles têm consequências realmente terríveis em termos de falsos positivos para as pessoas. A vida das pessoas pode ser realmente alterada pelo maquinário e os humanos no circuito simplesmente tomando uma decisão ruim porque não têm nenhuma razão para tentar consertá-la.”
Gillmor argumentou que a tecnologia não era a solução para este problema. Na verdade, isso poderia introduzir muitos novos problemas, disse ele, incluindo a criação de um sistema de vigilância robusto que poderia prejudicar desproporcionalmente aqueles que estão nas margens.
“Há um sonho de uma espécie de tecnologia -coisa de solucionador, , ‘Oh, bem, você sabe, há um aplicativo para eu encontrar um almoço barato, por que não pode haver um aplicativo para encontrar uma solução para um problema social espinhoso, como abuso sexual infantil?’”, disse ele. “Bem, você sabe, eles podem não ser solucionados pelos mesmos tipos de tecnologia ou conjunto de habilidades.”
