Estudos/Pesquisa

Modelos generativos de IA estão codificando vieses e estereótipos negativos em seus usuários – Strong The One

.

No espaço de alguns meses, modelos generativos de IA, como ChatGPT, Google’s Bard e Midjourney, foram adotados por mais e mais pessoas em uma variedade de maneiras profissionais e pessoais. Mas pesquisas crescentes estão sublinhando que eles estão codificando vieses e estereótipos negativos em seus usuários, bem como gerando e espalhando informações aparentemente precisas, mas sem sentido. É preocupante que grupos marginalizados sejam afetados desproporcionalmente pela fabricação dessas informações sem sentido.

Além disso, a fabricação em massa tem o potencial de influenciar a crença humana à medida que os modelos que a impulsionam se tornam cada vez mais comuns, povoando a World Wide Web. As pessoas não apenas pegam informações da web, mas muito do material de treinamento primário usado pelos modelos de IA também vem daqui. Em outras palavras, um ciclo de feedback contínuo evolui no qual preconceitos e absurdos se repetem e são aceitos continuamente.

Essas descobertas – e um apelo para que psicólogos e especialistas em aprendizado de máquina trabalhem juntos rapidamente para avaliar a escala do problema e criar soluções – foram publicadas hoje em uma Perspectiva instigante na principal revista internacional, Science, co-autoria de Abeba Birhane, que é professor assistente adjunto na Trinity’s School of Computer Science and Statistics (trabalhando com o Trinity’s Complex Software Lab) e Senior Fellow em Trustworthy AI na Mozilla Foundation.

O professor Birhane disse: “As pessoas comunicam regularmente a incerteza por meio de frases como ‘eu acho’, atrasos nas respostas, correções e disfluências na fala. Em contraste, os modelos generativos fornecem respostas confiantes e fluentes sem representações de incerteza nem a capacidade de comunicar sua ausência. Como como resultado, isso pode causar maior distorção em comparação com as entradas humanas e levar as pessoas a aceitar as respostas como factualmente precisas. Essas questões são exacerbadas por interesses financeiros e de responsabilidade que incentivam as empresas a antropomorfizar modelos generativos como inteligentes, sencientes, empáticos ou até infantis.

Um desses exemplos fornecidos na Perspectiva se concentra em como as regularidades estatísticas em um modelo atribuem aos réus negros pontuações de risco mais altas. Os juízes do tribunal, que aprenderam os padrões, podem então mudar suas práticas de condenação para corresponder às previsões dos algoritmos. Esse mecanismo básico de aprendizado estatístico pode levar um juiz a acreditar que indivíduos negros têm maior probabilidade de reincidência – mesmo que o uso do sistema seja interrompido por regulamentos como os recentemente adotados na Califórnia.

Particularmente preocupante é o fato de que não é fácil abalar preconceitos ou informações fabricadas depois que elas são aceitas por um indivíduo. As crianças correm um risco especialmente alto, pois são mais vulneráveis ​​à distorção de crenças, pois são mais propensas a antropomorfizar a tecnologia e são mais facilmente influenciadas.

O que é necessário é uma análise rápida e detalhada que meça o impacto dos modelos generativos nas crenças e preconceitos humanos.

O professor Birhane disse: “Estudos e intervenções subsequentes seriam mais efetivamente focados nos impactos sobre as populações marginalizadas que são desproporcionalmente afetadas por invenções e estereótipos negativos nos resultados do modelo. Além disso, são necessários recursos para a educação do público, formuladores de políticas e cientistas interdisciplinares para fornecer visões informadas de forma realista de como os modelos de IA generativos funcionam e para corrigir a desinformação existente e o hype em torno dessas novas tecnologias.”

.

Mostrar mais

Artigos relacionados

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Botão Voltar ao topo