.
Funcionários do governo estão a utilizar inteligência artificial (IA) e algoritmos complexos para ajudar a decidir tudo, desde quem recebe benefícios até quem deve ter a sua certidão de casamento aprovada, de acordo com uma investigação do Guardian.
As descobertas lançam luz sobre a maneira aleatória e muitas vezes descontrolada como a tecnologia de ponta está sendo usada em Whitehall.
Funcionários públicos de pelo menos oito departamentos de Whitehall e algumas forças policiais estão a utilizar a IA numa série de áreas, mas especialmente quando se trata de os ajudar a tomar decisões sobre assistência social, imigração e justiça criminal, mostra a investigação.
O Guardian descobriu evidências de que algumas das ferramentas utilizadas têm o potencial de produzir resultados discriminatórios, tais como:
Um algoritmo usado pelo Departamento de Trabalho e Pensões (DWP) que um deputado acredita que levou erroneamente à remoção de benefícios de dezenas de pessoas.
Descobriu-se que uma ferramenta de reconhecimento facial usada pela Polícia Metropolitana comete mais erros ao reconhecer rostos negros do que brancos em determinados ambientes.
Um algoritmo usado pelo Ministério do Interior para denunciar casamentos falsos que selecionam desproporcionalmente pessoas de determinadas nacionalidades.
A inteligência artificial é normalmente “treinada” num grande conjunto de dados e depois analisa esses dados de formas que mesmo aqueles que desenvolveram as ferramentas por vezes não compreendem totalmente.
Se os dados mostrarem evidências de discriminação, alertam os especialistas, a ferramenta de IA provavelmente também levará a resultados discriminatórios.
Rishi Sunak falou recentemente em termos elogiosos sobre como a IA poderia transformar os serviços públicos, “desde poupar aos professores centenas de horas de tempo gasto no planejamento de aulas até ajudar os pacientes do NHS a obter diagnósticos mais rápidos e testes mais precisos”.
Mas a sua utilização no setor público já se revelou controversa, como nos Países Baixos, onde as autoridades fiscais a utilizaram para detetar potenciais fraudes em matéria de prestações de cuidados infantis, mas foram multadas em 3,7 milhões de euros, depois de repetidamente tomarem decisões erradas e mergulharem dezenas de milhares de famílias em situações de crise. pobreza.
Os especialistas preocupam-se com a repetição desse escândalo no Reino Unido, alertando que as autoridades britânicas estão a utilizar algoritmos mal compreendidos para tomar decisões que mudam vidas, sem que as pessoas afetadas por essas decisões sequer saibam disso. Muitos estão preocupados com a abolição, no início deste ano, de um conselho consultivo governamental independente que responsabilizava os organismos do sector público pela forma como utilizavam a IA.
Shameem Ahmad, diretor executivo do Public Law Project, disse: “A IA tem um enorme potencial para o bem social. Por exemplo, podemos tornar as coisas mais eficientes. Mas não podemos ignorar os graves riscos.
“Sem uma acção urgente, poderíamos caminhar sonâmbulos para uma situação em que sistemas automatizados opacos são regularmente, possivelmente ilegalmente, utilizados de formas que alteram vidas, e onde as pessoas não serão capazes de procurar reparação quando esses processos correm mal.”
Marion Oswald, professora de direito na Universidade de Northumbria e ex-membro do conselho consultivo do governo sobre ética de dados, disse: “Há uma falta de consistência e transparência na forma como a IA está a ser utilizada no sector público. Muitas destas ferramentas afetarão muitas pessoas na sua vida quotidiana, por exemplo, aquelas que reivindicam benefícios, mas as pessoas não compreendem por que razão estão a ser utilizadas e não têm a oportunidade de as contestar.”
Sunak reunirá chefes de estado na próxima semana em Bletchley Park para uma cúpula internacional sobre segurança de IA. A cimeira, que Downing Street espera que defina os termos para o desenvolvimento da IA em todo o mundo nos próximos anos, centrar-se-á especificamente na ameaça potencial que os modelos algorítmicos avançados representam para toda a humanidade.
Durante anos, porém, os funcionários públicos têm confiado em ferramentas algorítmicas menos sofisticadas para ajudar a tomar uma série de decisões sobre a vida quotidiana das pessoas.
Em alguns casos, as ferramentas são simples e transparentes, como portões de passaportes eletrônicos ou câmeras de reconhecimento de matrículas, sendo que ambos utilizam software de reconhecimento visual alimentado por IA.
Em outros casos, porém, o software é mais poderoso e menos óbvio para aqueles que são afetados por ele.
O Gabinete lançou recentemente uma “norma de relatórios de transparência algorítmica”, que incentiva os departamentos e as autoridades policiais a divulgarem voluntariamente onde utilizam a IA para ajudar a tomar decisões que possam ter um impacto material no público em geral.
Seis organizações listaram projetos sob o novo padrão de transparência.
O Guardian examinou esses projetos, bem como uma base de dados separada compilada pelo Public Law Project. O Guardian emitiu então pedidos de liberdade de informação a todos os departamentos governamentais e autoridades policiais do Reino Unido para construir uma imagem mais completa de onde a IA está actualmente a tomar decisões que afectam a vida das pessoas.
Os resultados mostram que pelo menos oito departamentos de Whitehall utilizam IA de uma forma ou de outra, alguns com muito mais intensidade do que outros.
O NHS utilizou IA em vários contextos, inclusive durante a pandemia de Covid, quando as autoridades a utilizaram para ajudar a identificar pacientes em risco que deveriam ser aconselhados a se protegerem.
O Ministério do Interior disse que usou IA em portões eletrônicos para ler passaportes em aeroportos, para ajudar no envio de pedidos de passaporte e na “ferramenta de triagem de casamentos falsos” do departamento, que sinaliza possíveis casamentos falsos para investigação mais aprofundada.
Uma avaliação interna do Ministério do Interior vista pelo Guardian mostra que a ferramenta sinaliza de forma desproporcional pessoas da Albânia, Grécia, Roménia e Bulgária.
O DWP, por sua vez, possui um “serviço integrado de risco e inteligência”, que utiliza um algoritmo para ajudar a detectar fraudes e erros entre os requerentes de benefícios. A deputada trabalhista Kate Osamor acredita que o uso deste algoritmo pode ter contribuído para que dezenas de búlgaros tenham subitamente os seus benefícios suspensos nos últimos anos, depois de terem sido falsamente sinalizados como fazendo reivindicações potencialmente fraudulentas.
O DWP insiste que o algoritmo não leva em conta a nacionalidade. Um porta-voz acrescentou: “Estamos reprimindo aqueles que tentam explorar o sistema e roubar descaradamente os mais necessitados, enquanto continuamos nosso esforço para economizar £ 1,3 bilhão ao contribuinte no próximo ano”.
Nem o DWP nem o Ministério do Interior forneceram detalhes sobre como funcionam os processos automatizados, mas ambos afirmaram que os processos que utilizam são justos porque as decisões finais são tomadas por pessoas. Muitos especialistas temem, no entanto, que algoritmos tendenciosos possam levar a decisões finais tendenciosas, porque os funcionários só podem analisar os casos que lhes são sinalizados e muitas vezes têm tempo limitado para o fazer.
.
