.
Enquanto procurava estágios de pesquisa no ano passado, a estudante de pós-graduação da Universidade de Washington, Kate Glazko, notou recrutadores postando on-line que usaram o ChatGPT da OpenAI e outras ferramentas de inteligência artificial para resumir currículos e classificar candidatos. A triagem automatizada tem sido comum nas contratações há décadas. No entanto, Glazko, estudante de doutorado na Escola Paul G. Allen de Ciência da Computação e Engenharia da UW, estuda como a IA generativa pode replicar e amplificar preconceitos do mundo real – como aqueles contra pessoas com deficiência. Como esse sistema poderia, ela se perguntou, classificar currículos que implicassem que alguém tinha uma deficiência?
Em um novo estudo, os pesquisadores da UW descobriram que o ChatGPT classificou consistentemente os currículos com honras e credenciais relacionadas a deficiências – como o “Prêmio Tom Wilson de Liderança em Deficiência” – abaixo dos mesmos currículos sem essas honras e credenciais. Quando solicitado a explicar as classificações, o sistema divulgou percepções tendenciosas sobre as pessoas com deficiência. Por exemplo, alegou que um currículo com um prémio de liderança no autismo tinha “menos ênfase em papéis de liderança” – implicando o estereótipo de que pessoas autistas não são bons líderes.
Mas quando os pesquisadores personalizaram a ferramenta com instruções escritas orientando-a a não ser capaz, a ferramenta reduziu esse viés para todas as deficiências testadas, exceto uma. Cinco das seis deficiências implícitas – surdez, cegueira, paralisia cerebral, autismo e o termo geral “deficiência” – melhoraram, mas apenas três tiveram classificação superior aos currículos que não mencionavam deficiência.
A equipe apresentou suas conclusões em 5 de junho na Conferência ACM sobre Justiça, Responsabilidade e Transparência de 2024, no Rio de Janeiro.
“Os currículos de classificação com IA estão começando a proliferar, mas não há muita pesquisa sobre se é seguro e eficaz”, disse Glazko, principal autor do estudo. “Para quem procura emprego com deficiência, sempre há essa dúvida quando você envia um currículo sobre se deve incluir credenciais de deficiência. Acho que as pessoas com deficiência consideram isso mesmo quando os humanos são os revisores.”
Os pesquisadores usaram o currículo vitae (CV) de um dos autores do estudo, disponível publicamente, que tinha cerca de 10 páginas. A equipe criou então seis currículos aprimorados, cada um implicando uma deficiência diferente, incluindo quatro credenciais relacionadas à deficiência: uma bolsa de estudos; um prêmio; um assento no painel de diversidade, equidade e inclusão (DEI); e filiação a uma organização estudantil.
Os pesquisadores então usaram o modelo GPT-4 do ChatGPT para classificar esses currículos aprimorados em relação à versão original para uma lista de empregos real de “estudante pesquisador” em uma grande empresa de software com sede nos EUA. Eles executaram cada comparação 10 vezes; em 60 ensaios, o sistema classificou os currículos melhorados, que eram idênticos, exceto pela deficiência implícita, primeiro apenas um quarto das vezes.
“Em um mundo justo, o currículo aprimorado deveria ser sempre classificado em primeiro lugar”, disse a autora sênior Jennifer Mankoff, professora da UW na Allen School. “Não consigo pensar em um trabalho em que alguém que foi reconhecido por suas habilidades de liderança, por exemplo, não deva ser classificado à frente de alguém com a mesma formação que não o fez.”
Quando os pesquisadores pediram ao GPT-4 que explicasse as classificações, suas respostas exibiram capacidade explícita e implícita. Por exemplo, observou que um candidato com depressão tinha “foco adicional no DEI e nos desafios pessoais”, o que “prejudica os principais aspectos técnicos e orientados para a investigação da função”.
“Algumas das descrições do GPT coloririam todo o currículo de uma pessoa com base em sua deficiência e alegariam que o envolvimento com DEI ou deficiência está potencialmente prejudicando outras partes do currículo”, disse Glazko. “Por exemplo, alucinamos o conceito de ‘desafios’ na comparação do currículo da depressão, embora os ‘desafios’ não tenham sido mencionados. Portanto, você pode ver alguns estereótipos emergirem.”
Diante disso, os pesquisadores estavam interessados em saber se o sistema poderia ser treinado para ser menos tendencioso. Eles recorreram à ferramenta GPTs Editor, que lhes permitiu personalizar o GPT-4 com instruções escritas (sem necessidade de código). Eles instruíram este chatbot a não exibir preconceitos capacitistas e, em vez disso, trabalhar com justiça para deficientes e princípios de DEI.
Eles realizaram o experimento novamente, desta vez usando o chatbot recém-treinado. No geral, este sistema classificou os CV melhorados acima do CV de controlo 37 vezes em 60. No entanto, para algumas deficiências, as melhorias foram mínimas ou ausentes: o CV do autismo ficou em primeiro lugar apenas três em cada 10 vezes, e o CV da depressão apenas duas vezes. (inalterado em relação aos resultados originais do GPT-4).
“As pessoas precisam estar cientes dos preconceitos do sistema ao usar a IA para essas tarefas do mundo real”, disse Glazko. “Caso contrário, um recrutador que usa o ChatGPT não pode fazer essas correções, ou estar ciente de que, mesmo com instruções, o preconceito pode persistir.”
Os investigadores observam que algumas organizações, como a ourability.com e a inclusive.com, estão a trabalhar para melhorar os resultados para os candidatos a emprego com deficiência, que enfrentam preconceitos, independentemente de a IA ser ou não utilizada para contratação. Eles também enfatizam que são necessárias mais pesquisas para documentar e remediar os preconceitos da IA. Isso inclui testar outros sistemas, como o Gemini, do Google, e o Llama, da Meta; incluindo outras deficiências; estudar as intersecções do preconceito do sistema contra as deficiências com outros atributos, como género e raça; explorar se uma maior personalização poderia reduzir os preconceitos de forma mais consistente entre as deficiências; e ver se a versão básica do GPT-4 pode se tornar menos tendenciosa.
“É muito importante estudarmos e documentarmos esses preconceitos”, disse Mankoff. “Aprendemos muito e esperamos contribuir para uma conversa mais ampla – não apenas sobre deficiência, mas também sobre outras identidades minorizadas – em torno de garantir que a tecnologia seja implementada e implantada de forma equitativa e justa.”
.
