.
Os pesquisadores descobriram que os alunos se saíram melhor nos exames de contabilidade do que o ChatGPT, o produto chatbot da OpenAI.
Apesar disso, eles disseram que o desempenho do ChatGPT foi “impressionante” e que foi uma “virada de jogo que mudará a maneira como todos ensinam e aprendem – para melhor”. Os pesquisadores da Brigham Young University (BYU), EUA, e 186 outras universidades queriam saber como a tecnologia da OpenAI se sairia nos exames de contabilidade. Eles publicaram suas descobertas na revista Issues in Accounting Education.
No exame de contabilidade dos pesquisadores, os alunos obtiveram uma média geral de 76,7 por cento, em comparação com a pontuação do ChatGPT de 47,4 por cento.
Enquanto em 11,3 por cento das questões, o ChatGPT teve uma pontuação mais alta do que a média dos alunos, indo particularmente bem em sistemas de informações contábeis (AIS) e auditoria, o bot AI teve um desempenho pior em avaliações fiscais, financeiras e gerenciais. Os pesquisadores acham que isso pode acontecer porque o ChatGPT lutou com os processos matemáticos necessários para o último tipo.
O bot AI, que usa aprendizado de máquina para gerar texto em linguagem natural, foi ainda melhor em questões de verdadeiro/falso (68,7 por cento correto) e questões de múltipla escolha (59,5 por cento), mas lutou com perguntas de resposta curta (entre 28,7 por cento e 39,1 por cento).
Em geral, os pesquisadores disseram que as perguntas de ordem superior eram mais difíceis de responder pelo ChatGPT. Na verdade, às vezes, descobriu-se que o ChatGPT fornece descrições escritas autorizadas para respostas incorretas ou responde à mesma pergunta de maneiras diferentes.
Eles também descobriram que o ChatGPT geralmente fornecia explicações para suas respostas, mesmo que estivessem incorretas. Outras vezes, selecionava a resposta de múltipla escolha errada, apesar de fornecer descrições precisas.
Os pesquisadores notaram que o ChatGPT às vezes inventava fatos. Por exemplo, ao fornecer uma referência, gerou uma referência de aparência real que foi totalmente fabricada. A obra e às vezes os autores nem existiam.
O bot também cometeu erros matemáticos sem sentido, como adicionar dois números em um problema de subtração ou dividir números incorretamente.
Desejando aumentar o intenso debate em andamento sobre como modelos como o ChatGPT devem ser considerados na educação, o principal autor do estudo, David Wood, professor de contabilidade da BYU, decidiu recrutar o maior número possível de professores para ver como a IA se saía em relação aos estudantes universitários de contabilidade. .
Seu discurso de recrutamento de coautores nas mídias sociais explodiu: 327 coautores de 186 instituições educacionais em 14 países participaram da pesquisa, contribuindo com 25.181 questões de exames de contabilidade em sala de aula.
Eles também recrutaram alunos de graduação da BYU para fornecer outras 2.268 perguntas de banco de testes de livros didáticos para o ChatGPT. As questões abrangiam AIS, auditoria, contabilidade financeira, contabilidade gerencial e fiscal, e variavam em dificuldade e tipo (verdadeiro/falso, múltipla escolha, resposta curta).
.
