Ciência e Tecnologia

Este algoritmo pode arruinar sua vida

.

De fora, O algoritmo de bem-estar de Rotterdam parece complexo. O sistema, que foi originalmente desenvolvido pela empresa de consultoria Accenture antes de a cidade assumir o desenvolvimento em 2018, é treinado em dados coletados pelo departamento de assistência social de Roterdã. Ele atribui pontuações de risco às pessoas com base em 315 fatores. Alguns são fatos objetivos, como idade ou identidade de gênero. Outros, como a aparência de uma pessoa ou o quanto ela é extrovertida, são subjetivos e baseados no julgamento dos assistentes sociais.

Em Hoek van Holland, uma cidade a oeste de Rotterdam que faz parte administrativamente da cidade, Pepita Ceelie está tentando entender como o algoritmo a classificou como de alto risco. Ceelie tem 61 anos, é muito tatuada e tem um corte rosa brilhante. Ela gosta de falar inglês e vai direto ao ponto. Nos últimos 10 anos, ela conviveu com dores crônicas nas costas e exaustão, e usa uma scooter sempre que sai de casa.

Ceelie foi investigada duas vezes pela equipe de fraude previdenciária de Roterdã, primeiro em 2015 e novamente em 2021. Em ambas as vezes, os investigadores não encontraram irregularidades. No caso mais recente, ela foi selecionada para investigação pelo algoritmo de pontuação de risco da cidade. Ceelie diz que teve que explicar aos investigadores por que seu irmão lhe enviou € 150 (US$ 180) em seu sexagésimo aniversário e que levou mais de cinco meses para encerrar o caso.

Sentada em sua casa de blocos dos anos 1950, decorada com fotos de seu jardim, Ceelie digita em um laptop. Ela está inserindo seus dados em uma reconstrução do sistema de pontuação de risco de bem-estar de Rotterdam criado como parte desta investigação. A interface do usuário, construída com base no algoritmo e nos dados da cidade, demonstra como a pontuação de risco de Ceelie foi calculada – e sugere quais fatores poderiam ter levado ela a ser investigada por fraude.

Todos os 315 fatores do sistema de pontuação de risco são inicialmente definidos para descrever uma pessoa imaginária com valores “médios” no conjunto de dados. Quando Ceelie personaliza o sistema com seus próprios detalhes, sua pontuação começa a mudar. Ela começa com uma pontuação padrão de 0,3483 — quanto mais próxima de 1 a pontuação de uma pessoa, mais ela é considerada um alto risco de fraude. Quando ela diz ao sistema que não tem um plano para encontrar trabalho, a pontuação sobe (0,4174). Cai quando ela entra que mora em sua casa há 20 anos (0,3891). Morar fora do centro de Roterdã o coloca acima de 0,4.

Mudar seu gênero de masculino para feminino eleva sua pontuação para 0,5123. “Isso é loucura”, diz Ceelie. Mesmo que seu filho adulto não more com ela, a existência dele, para o algoritmo, a torna mais propensa a cometer fraudes previdenciárias. “O que ele tem a ver com isso?” ela diz. O divórcio de Ceelie aumenta novamente sua pontuação de risco, e ela termina com uma pontuação de 0,643: alto risco, de acordo com o sistema de Roterdã.

“Eles não me conhecem, não sou um número”, diz Ceelie. “Eu sou um ser humano.” Após duas investigações de fraude previdenciária, Ceelie ficou furiosa com o sistema. “Eles apenas se opuseram a mim, me levaram a pensamentos suicidas”, diz ela. Ao longo de suas investigações, ela ouviu as histórias de outras pessoas, recorrendo a um grupo de apoio no Facebook criado para pessoas com problemas com o sistema de bem-estar social da Holanda. Ceelie diz que as pessoas perderam benefícios por infrações menores, como não relatar pagamentos de supermercado ou dinheiro recebido de seus pais.

“Há muitas coisas que não são muito claras para as pessoas quando recebem assistência social”, diz Jacqueline Nieuwstraten, uma advogada que lidou com dezenas de apelações contra as penalidades de assistência social de Roterdã. Ela diz que o sistema tem sido rápido em punir as pessoas e que os investigadores falham em considerar adequadamente as circunstâncias individuais.

A Holanda adota uma postura dura em relação à fraude previdenciária, incentivada por políticos populistas de direita. E de todas as regiões do país, Roterdã é a que mais combate a fraude previdenciária. Das cerca de 30 mil pessoas que recebem benefícios da prefeitura a cada ano, cerca de mil são investigadas após serem sinalizadas pelo algoritmo da prefeitura. No total, Rotterdam investiga até 6.000 pessoas anualmente para verificar se seus pagamentos estão corretos. Em 2019, Rotterdam emitiu 2.400 penalidades de benefícios, que podem incluir multas e cortar completamente os benefícios das pessoas. Em 2022, quase um quarto dos recursos que chegaram ao mais alto tribunal do país veio de Rotterdam.

.

Mostrar mais

Artigos relacionados

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Botão Voltar ao topo