.
Um estudo do ChatGPT descobriu que a ferramenta de inteligência artificial respondeu corretamente a menos da metade das perguntas do teste de um recurso de estudo comumente usado por médicos ao se preparar para a certificação do conselho em oftalmologia.
O estudo, publicado na JAMA Oftalmologia e liderado pelo Hospital St. .
O potencial da IA na medicina e na preparação para exames atraiu entusiasmo desde que o ChatGPT se tornou disponível ao público em novembro de 2022. Também está aumentando a preocupação com o potencial de informações incorretas e trapaças na academia. O ChatGPT é gratuito, disponível para qualquer pessoa com conexão à internet e funciona de forma conversacional.
“O ChatGPT pode ter um papel cada vez maior na educação médica e na prática clínica ao longo do tempo, mas é importante enfatizar o uso responsável de tais sistemas de IA”, disse o Dr. Rajeev H. Muni, investigador principal do estudo e pesquisador do Li Ka Shing Knowledge Institute em St. Michael’s. “O ChatGPT, conforme usado nesta investigação, não respondeu corretamente a perguntas de múltipla escolha suficientes para fornecer assistência substancial na preparação para a certificação do conselho neste momento.”
Os pesquisadores usaram um conjunto de dados de perguntas práticas de múltipla escolha do teste gratuito do OphthoQuestions, um recurso comum para a preparação para o exame de certificação do conselho. Para garantir que as respostas do ChatGPT não fossem influenciadas por conversas simultâneas, as entradas ou conversas com o ChatGPT foram apagadas antes de inserir cada pergunta e uma nova conta do ChatGPT foi usada. As perguntas que usavam imagens e vídeos não foram incluídas porque o ChatGPT só aceita entrada de texto.
De 125 perguntas de múltipla escolha baseadas em texto, o ChatGPT respondeu corretamente a 58 (46%) perguntas quando o estudo foi conduzido pela primeira vez em janeiro de 2023. Os pesquisadores repetiram a análise no ChatGPT em fevereiro de 2023 e o desempenho melhorou para 58%. .
“ChatGPT é um sistema de inteligência artificial que tem uma enorme promessa na educação médica. Embora tenha fornecido respostas incorretas para questões de certificação em oftalmologia cerca de metade do tempo, prevemos que o corpo de conhecimento do ChatGPT evoluirá rapidamente”, disse o Dr. Marko Popovic, um coautor do estudo e médico residente do Departamento de Oftalmologia e Ciências da Visão da Universidade de Toronto.
O ChatGPT comparou de perto como os alunos respondem às perguntas e selecionou a mesma resposta de múltipla escolha como a resposta mais comum fornecida pelos alunos de oftalmologia em 44% das vezes. O ChatGPT selecionou a resposta de múltipla escolha menos popular entre os estagiários de oftalmologia em 11% das vezes, a segunda menos popular em 18% das vezes e a segunda mais popular em 22% das vezes.
“O ChatGPT teve o desempenho mais preciso em questões de medicina geral, respondendo corretamente a 79 por cento delas. Por outro lado, sua precisão foi consideravelmente menor em questões de subespecialidades oftalmológicas. Por exemplo, o chatbot respondeu corretamente a 20 por cento das perguntas sobre oculoplástica e zero por cento corretamente da subespecialidade da retina. A precisão do ChatGPT provavelmente melhorará mais em subespecialidades de nicho no futuro”, disse Andrew Mihalache, principal autor do estudo e aluno de graduação da Western University.
.
