Na era do ChatGPT, como é ser acusado de trapaça?

O estudo, publicado na revista Aprendizagem: Pesquisa e Prática como parte de uma série sobre IA generativa, analisou 49 postagens do Reddit e suas discussões relacionadas de estudantes universitários que foram acusados ​​de usar o ChatGPT em uma tarefa. Gorichanaz, que é professor assistente na Faculdade de Computação e Informática de Drexel, identificou uma série de temas nessas conversas, principalmente a frustração de alunos acusados ​​injustamente, a ansiedade sobre a possibilidade de ser acusado injustamente e como evitá-lo, e dúvidas crescentes. e cinismo sobre a necessidade de ensino superior na era da inteligência artificial generativa.

“À medida que o mundo do ensino superior se esforça coletivamente para compreender e desenvolver as melhores práticas e políticas em torno do uso de ferramentas como o ChatGPT, é vital para nós compreendermos como o fascínio, a ansiedade e o medo que acompanham a adoção de qualquer nova tecnologia educacional também afetam os alunos. que estão passando por seu próprio processo para descobrir como usá-lo”, disse Gorichanaz.

Dos 49 estudantes que postaram, 38 deles disseram que não usavam ChatGPT, mas programas de detecção como Turnitin ou GPTZero sinalizaram suas tarefas como sendo geradas por IA. Como resultado, muitas das discussões assumiram o teor de um argumento jurídico. Os alunos perguntaram como poderiam apresentar provas para provar que não tinham trapaceado, alguns comentaristas aconselharam continuar a negar que tivessem usado o programa porque os detectores não são confiáveis.

“Muitos dos estudantes expressaram preocupação com a possibilidade de serem acusados ​​injustamente por um detector de IA”, disse Gorichanaz. “Algumas discussões foram detalhadas sobre como os alunos poderiam coletar evidências para provar que haviam escrito uma redação sem IA, incluindo o rastreamento de versões de rascunho e o uso de software de gravação de tela. Outros sugeriram executar um detector em sua própria escrita até que voltasse sem ser incorreto. sinalizado.”

Outro tema que emergiu nas discussões foi o papel percebido das faculdades e universidades como “guardiões” do sucesso e, como resultado, os altos riscos associados a serem injustamente acusados ​​de trapaça. Isto levou a questões sobre a preparação das instituições para a nova tecnologia e preocupações de que os professores estariam demasiado dependentes de detectores de IA – cuja precisão permanece em dúvida.

“As conversas que acontecem online evoluíram de dúvidas específicas sobre a precisão da detecção de IA e das políticas das universidades em torno do uso de IA generativa, para questionar amplamente o papel do ensino superior na sociedade e sugerir que a tecnologia tornará as instituições de ensino superior irrelevantes no mundo. futuro próximo”, disse Gorichanaz.

O estudo também destacou uma erosão da confiança entre os estudantes – e entre os estudantes e os seus professores – decorrente da percepção dos estudantes de que estão persistentemente sob suspeita de trapaça. Uma série de comentários ilustrou a degradação dessas relações:

• “Eu nunca teria esperado ser acusado por ele, dentre todos os meus professores.”
• “É claro que ela confia mais naquele detector de IA do que em nós.”
• “Eu sei que com certeza não plagiei, mas infelizmente você nem sempre pode confiar nos outros.”

A tecnologia de IA generativa forçou as instituições de ensino superior a reconsiderar as suas práticas de avaliação educacional e políticas sobre trapaça. De acordo com o estudo, os alunos estão fazendo muitas das mesmas perguntas.

“Houve comentários sobre inconsistências políticas em que os alunos foram punidos por usar algumas ferramentas de IA, como ChatGPT, mas encorajados a usar outras ferramentas de IA, como Grammarly. Outros alunos sugeriram que o uso de IA generativa para escrever um artigo não deveria ser considerado plágio porque é um trabalho original ”, disse Gorichanaz. “Muitos estudantes chegaram à mesma conclusão que as universidades têm enfrentado: a necessidade de integrar a tecnologia com responsabilidade e ir além das redações para a avaliação da aprendizagem.”

O estudo pode desempenhar um papel importante ajudando faculdades e universidades a comunicar aos seus alunos sobre o uso da tecnologia de IA generativa, sugere Gorichanaz.

“Embora esta seja uma amostra relativamente pequena, essas descobertas ainda são úteis para entender o que os alunos estão passando agora”, disse ele. “Ser acusado injustamente, ou constantemente sob suspeita, de usar IA para trapacear pode ser uma experiência angustiante para os alunos. Pode prejudicar a confiança que é tão importante para uma experiência educacional de qualidade. Portanto, as instituições devem desenvolver políticas consistentes e comunicá-las claramente aos alunos. e compreender as limitações da tecnologia de detecção.”

Gorichanaz observou que mesmo os melhores detectores de IA poderiam produzir falsos positivos suficientes para que os professores acusassem injustamente dezenas de estudantes – o que é claramente inaceitável, considerando o que está em jogo.

“Em vez de tentar usar detectores de IA para avaliar se essas avaliações são genuínas, os instrutores podem se sair melhor projetando diferentes tipos de avaliações: aquelas que enfatizam o processo em detrimento do produto ou avaliações mais frequentes e de baixo risco”, escreveu ele, além de sugerir que os instrutores poderiam adicionar módulos sobre o uso apropriado da tecnologia de IA generativa, em vez de proibir completamente o seu uso.

Embora o estudo ofereça uma análise temática, Gorichanaz sugere que pesquisas futuras poderiam expandir a amostra para um tamanho estatisticamente relevante e extraí-la de fontes além das conversas em inglês no Reddit.