.
Quando a Iowa State University mudou do aprendizado presencial para o remoto no meio do semestre da primavera de 2020, o professor de psicologia Jason Chan ficou preocupado. Os exames on-line não supervisionados desencadeariam trapaças desenfreadas?
Sua reação inicial mudou para surpresa quando os resultados dos testes chegaram. As pontuações individuais dos alunos foram um pouco mais altas, mas consistentes com seus resultados de exames supervisionados presenciais. Aqueles que receberam B’s antes do bloqueio do COVID-19 ainda estavam recebendo B’s quando os testes eram online e sem supervisão. Esse padrão se manteve verdadeiro para os alunos acima e abaixo na escala de classificação.
“O fato de as classificações dos alunos permanecerem praticamente as mesmas, independentemente de estarem fazendo exames presenciais ou online, indica que a cola não era predominante ou era ineficaz para aumentar significativamente as pontuações”, diz Chan.
Para saber se isso estava acontecendo em um nível mais amplo, Chan e Dahwi Ahn, um Ph.D. candidato em psicologia, analisou dados de pontuação de teste de quase 2.000 alunos em 18 turmas durante o semestre da primavera de 2020. Sua amostra variou de grandes cursos em estilo de palestra com alto número de matrículas, como introdução à estatística, a cursos avançados em engenharia e medicina veterinária.
Em diferentes disciplinas acadêmicas, turmas, níveis de curso e estilos de teste (ou seja, predominantemente de múltipla escolha ou resposta curta), os pesquisadores encontraram os mesmos resultados. Os exames on-line não supervisionados produziram pontuações muito semelhantes aos exames presenciais supervisionados, indicando que eles podem fornecer uma avaliação válida e confiável do aprendizado do aluno.
Os resultados da pesquisa foram publicados recentemente no Anais da Academia Nacional de Ciências.
“Antes de realizar esta pesquisa, eu tinha dúvidas sobre os exames online e não supervisionados, e estava bastante hesitante em usá-los se houvesse a opção de fazê-los pessoalmente. Mas depois de ver os dados, sinto-me mais confiante e espero que outros instrutores , também”, diz Ahn.
Ambos os pesquisadores dizem que continuaram a fazer exames online, mesmo para aulas presenciais. Chan diz que esse formato oferece mais flexibilidade para alunos que têm empregos de meio período ou viajam para esportes e atividades extracurriculares. Ele também expande as opções para ministrar aulas remotas. Ahn conduziu seu primeiro curso online durante o verão.
Por que a trapaça pode ter tido um efeito mínimo nas pontuações dos testes?
Os pesquisadores dizem que os alunos com maior probabilidade de trapacear podem ter um desempenho ruim em sala de aula e ficar ansiosos com a reprovação. Talvez eles tenham faltado às aulas, tenham ficado para trás nos estudos ou se sintam desconfortáveis em pedir ajuda. Mesmo com a opção de pesquisar no Google durante um exame não monitorado, os alunos podem ter dificuldade para encontrar a resposta correta se não entenderem o conteúdo. Em seu artigo, os pesquisadores apontam evidências de estudos anteriores comparando pontuações de testes de livros abertos e fechados.
Outro fator que pode impedir a cola é a integridade acadêmica ou o senso de justiça, algo que muitos alunos valorizam, diz Chan. Aqueles que estudaram muito e se orgulham de suas notas podem estar mais inclinados a proteger suas respostas de alunos que consideram aproveitadores.
Ainda assim, os pesquisadores dizem que os instrutores devem estar cientes dos possíveis pontos fracos em exames on-line sem supervisão. Por exemplo, algumas plataformas têm a opção de mostrar aos alunos a resposta correta imediatamente após eles selecionarem uma opção de múltipla escolha. Isso torna muito mais fácil para os alunos compartilharem as respostas em um texto em grupo.
Para combater esta e outras formas de trapaça, os instrutores podem:
- Aguarde para liberar as respostas do exame até que a janela do teste seja fechada.
- Use bancos de perguntas maiores e aleatórios.
- Adicione mais opções em questões de múltipla escolha e torne a escolha certa menos óbvia.
- Ajuste os cortes de grau.
COVID-19 e ChatGPT
Chan e Ahn dizem que o semestre da primavera de 2020 proporcionou uma oportunidade única de pesquisar a validade dos exames online para avaliações dos alunos. No entanto, houve algumas limitações. Por exemplo, não ficou claro qual papel o estresse e outros impactos relacionados ao COVID-19 podem ter exercido sobre alunos, professores e assistentes de ensino. Talvez os instrutores tenham sido mais tolerantes com as notas ou tenham dado períodos de tempo mais longos para concluir os exames.
Os pesquisadores disseram que outra limitação era não saber se as 18 aulas da amostra normalmente ficavam mais fáceis ou mais difíceis à medida que o semestre avançava. Em um experimento ideal, metade dos alunos teria feito exames online na primeira metade do semestre e exames presenciais na segunda metade.
Eles tentaram explicar essas duas preocupações observando dados de pontuação de testes mais antigos de um subconjunto das 18 turmas durante os semestres em que eram totalmente presenciais. Os pesquisadores descobriram que a distribuição de notas em cada turma era consistente com o semestre da primavera de 2020 e concluíram que os materiais abordados na primeira e na segunda metade do semestre não diferiam em sua dificuldade.
No momento da coleta de dados para este estudo, o ChatGPT não estava disponível para os alunos. Mas os pesquisadores reconhecem que as ferramentas de escrita de IA são um divisor de águas na educação e podem tornar muito mais difícil para os instrutores avaliarem seus alunos. Entender como os instrutores devem abordar os exames online com o advento do ChatGPT é algo que Ahn pretende pesquisar.
O estudo foi apoiado por uma concessão de inteligência aumentada e ciência da National Science Foundation.
.
