.
Em um artigo de opinião revisado por pares, publicado em 10 de julho na revista Padrões, os pesquisadores mostram que os programas de computador comumente usados para determinar se um texto foi escrito por inteligência artificial tendem a rotular falsamente artigos escritos por falantes de idiomas não nativos como gerados por IA. Os pesquisadores alertam contra o uso de tais detectores de texto AI por sua falta de confiabilidade, o que pode ter impactos negativos em indivíduos, incluindo estudantes e candidatos a empregos.
“Nossa recomendação atual é que devemos ser extremamente cuidadosos e talvez tentar evitar o uso desses detectores o máximo possível”, diz o autor sênior James Zou, da Universidade de Stanford. “Isso pode ter consequências significativas se esses detectores forem usados para revisar coisas como formulários de emprego, redações de vestibular ou tarefas do ensino médio.”
Ferramentas de IA como o chatbot ChatGPT da OpenAI podem redigir redações, resolver problemas de ciências e matemática e produzir código de computador. Educadores nos Estados Unidos estão cada vez mais preocupados com o uso de IA no trabalho dos alunos e muitos deles começaram a usar detectores GPT para rastrear as tarefas dos alunos. Esses detectores são plataformas que afirmam ser capazes de identificar se o texto é gerado por IA, mas sua confiabilidade e eficácia ainda não foram testadas.
Zou e sua equipe testaram sete detectores GPT populares. Eles passaram 91 redações de inglês escritas por falantes não nativos de inglês para um teste de proficiência em inglês amplamente reconhecido, chamado Test of English as a Foreign Language, ou TOEFL, através dos detectores. Essas plataformas rotularam incorretamente mais da metade dos ensaios como gerados por IA, com um detector sinalizando quase 98% desses ensaios como escritos por IA. Em comparação, os detectores foram capazes de classificar corretamente mais de 90% das redações escritas por alunos da oitava série dos EUA como geradas por humanos.
Zou explica que os algoritmos desses detectores funcionam avaliando a perplexidade do texto, que é o quão surpreendente é a escolha da palavra em um ensaio. “Se você usar palavras comuns em inglês, os detectores darão uma pontuação baixa de perplexidade, o que significa que meu ensaio provavelmente será sinalizado como gerado por IA. Se você usar palavras complexas e mais sofisticadas, é mais provável que seja classificado como humano escrito pelo algoritmos”, diz ele. Isso ocorre porque grandes modelos de linguagem como o ChatGPT são treinados para gerar texto com baixa perplexidade para simular melhor como um ser humano médio fala, acrescenta Zou.
Como resultado, escolhas de palavras mais simples adotadas por escritores não nativos de inglês os tornariam mais vulneráveis a serem rotulados como usuários de IA.
A equipe então colocou as redações do TOEFL escritas por humanos no ChatGPT e solicitou que ele editasse o texto usando uma linguagem mais sofisticada, incluindo a substituição de palavras simples por vocabulário complexo. Os detectores GPT marcaram esses ensaios editados por IA como escritos por humanos.
“Devemos ser muito cautelosos ao usar qualquer um desses detectores em ambientes de sala de aula, porque ainda há muitos vieses e eles são fáceis de enganar com apenas o mínimo de design imediato”, diz Zou. O uso de detectores GPT também pode ter implicações além do setor educacional. Por exemplo, mecanismos de pesquisa como o Google desvalorizam o conteúdo gerado por IA, o que pode silenciar inadvertidamente escritores não nativos de inglês.
Embora as ferramentas de IA possam ter impactos positivos no aprendizado dos alunos, os detectores GPT devem ser aprimorados e avaliados antes de serem colocados em uso. Zou diz que treinar esses algoritmos com tipos mais diversos de escrita pode ser uma maneira de melhorar esses detectores.
.
