.
O ChatGPT conseguiu pontuar aproximadamente 60% do limite de aprovação para o Exame de Licenciamento Médico dos Estados Unidos (USMLE), com respostas que faziam sentido interno coerente e continham insights frequentes, de acordo com um novo estudo.
Tiffany Kung e colegas da AnsibleHealth, Califórnia, EUA, testaram o desempenho do ChatGPT no USMLE, uma série altamente padronizada e regulamentada de três exames, incluindo os Passos 1, 2CK e 3, necessários para o licenciamento médico nos EUA, disse o estudo.
Realizado por estudantes de medicina e médicos em treinamento, o USMLE avalia o conhecimento que abrange a maioria das disciplinas médicas, desde a bioquímica até o raciocínio diagnóstico e a bioética.
Após a triagem para remover perguntas baseadas em imagens do USMLE, os autores testaram o software em 350 das 376 perguntas públicas disponíveis no lançamento do USMLE de junho de 2022, disse o estudo.
Os autores descobriram que, depois que as respostas indeterminadas foram removidas, o ChatGPT obteve uma pontuação entre 52,4% e 75% nos três exames USMLE, disse o estudo publicado na revista PLOS Digital Health.
O limite de aprovação a cada ano é de aproximadamente 60%.
O ChatGPT é um novo sistema de inteligência artificial (IA), conhecido como modelo de linguagem grande (LLM), projetado para gerar escrita semelhante à humana, prevendo as próximas sequências de palavras.
Ao contrário da maioria dos chatbots, o ChatGPT não pode pesquisar na Internet, disse o estudo.
Em vez disso, ele gera texto usando relacionamentos de palavras previstos por seus processos internos, disse o estudo.
De acordo com o estudo, o ChatGPT também demonstrou 94,6% de concordância em todas as suas respostas e produziu pelo menos um insight significativo, algo que era novo, não óbvio e clinicamente válido, para 88,9% de suas respostas.
O ChatGPT também superou o desempenho do PubMedGPT, um modelo homólogo treinado exclusivamente na literatura do domínio biomédico, que obteve 50,8% em um conjunto de dados mais antigo de perguntas no estilo USMLE, disse o estudo.
Embora o tamanho de entrada relativamente pequeno restringisse a profundidade e o alcance das análises, os autores observaram que suas descobertas forneceram um vislumbre do potencial do ChatGPT para aprimorar a educação médica e, eventualmente, a prática clínica.
Por exemplo, eles acrescentaram, os médicos da AnsibleHealth já usam o ChatGPT para reescrever relatórios com muitos jargões para facilitar a compreensão do paciente.
“Alcançar a nota de aprovação para este exame especializado notoriamente difícil, e fazê-lo sem qualquer reforço humano, marca um marco notável na maturação clínica da IA”, disseram os autores.
Kung acrescentou que o papel do ChatGPT nesta pesquisa foi além de ser o objeto de estudo.
“ChatGPT contribuiu substancialmente para a redação de [our] manuscrito… Interagimos com o ChatGPT como um colega, pedindo-lhe para sintetizar, simplificar e oferecer contrapontos aos rascunhos em andamento… Todos os coautores valorizaram a contribuição do ChatGPT.”
.
