.
Um novo estudo liderado por investigadores do Mass General Brigham descobriu que o ChatGPT era cerca de 72% preciso na tomada de decisões clínicas gerais, desde a elaboração de possíveis diagnósticos até a elaboração de diagnósticos finais e decisões de gestão de cuidados. O chatbot de inteligência artificial do modelo de linguagem grande (LLM) teve um desempenho igualmente bom tanto nos cuidados primários quanto nos ambientes de emergência em todas as especialidades médicas. Os resultados da equipe de pesquisa são publicados no Jornal de pesquisa médica na Internet.
“Nosso artigo avalia de forma abrangente o suporte à decisão via ChatGPT desde o início do trabalho com um paciente, passando por todo o cenário de atendimento, desde o diagnóstico diferencial até o teste, diagnóstico e tratamento”, disse o autor correspondente Marc Succi, MD, presidente associado do líder de inovação e comercialização e inovação estratégica no Mass General Brigham e diretor executivo da Incubadora MESH. “Não existem referências reais, mas estimamos que esse desempenho esteja no nível de alguém que acabou de se formar na faculdade de medicina, como um estagiário ou residente. Isso nos diz que os LLMs em geral têm o potencial de ser uma ferramenta de aumento para o prática da medicina e apoiar a tomada de decisões clínicas com precisão impressionante.”
As mudanças na tecnologia de inteligência artificial estão ocorrendo em ritmo acelerado e transformando muitos setores, incluindo os de saúde. Mas a capacidade dos LLMs para auxiliar em todo o âmbito dos cuidados clínicos ainda não foi estudada. Neste estudo abrangente e interespecializado sobre como os LLMs poderiam ser usados no aconselhamento clínico e na tomada de decisões, Succi e sua equipe testaram a hipótese de que o ChatGPT seria capaz de trabalhar durante todo um encontro clínico com um paciente e recomendar uma investigação diagnóstica, decidir o curso de manejo clínico e, finalmente, fazer o diagnóstico final.
O estudo foi feito colando porções sucessivas de 36 vinhetas clínicas padronizadas e publicadas no ChatGPT. A ferramenta primeiro foi solicitada a apresentar um conjunto de diagnósticos possíveis, ou diferenciais, com base nas informações iniciais do paciente, que incluíam idade, sexo, sintomas e se o caso era uma emergência. O ChatGPT recebeu então informações adicionais e foi solicitado a tomar decisões gerenciais, bem como dar um diagnóstico final – simulando todo o processo de atendimento a um paciente real. A equipe comparou a precisão do ChatGPT em diagnóstico diferencial, testes diagnósticos, diagnóstico final e gerenciamento em um processo cego estruturado, atribuindo pontos para respostas corretas e usando regressões lineares para avaliar a relação entre o desempenho do ChatGPT e as informações demográficas da vinheta.
Os pesquisadores descobriram que, no geral, o ChatGPT tinha cerca de 72% de precisão e era melhor para fazer um diagnóstico final, com 77% de precisão. Teve o desempenho mais baixo na realização de diagnósticos diferenciais, onde teve apenas 60% de precisão. E teve apenas 68% de precisão nas decisões de gestão clínica, como descobrir quais medicamentos tratar o paciente depois de chegar ao diagnóstico correto. Outras conclusões notáveis do estudo incluíram que as respostas do ChatGPT não mostraram preconceitos de género e que o seu desempenho global foi estável tanto nos cuidados primários como nos de emergência.
“O ChatGPT lutou com o diagnóstico diferencial, que é a essência da medicina quando um médico precisa descobrir o que fazer”, disse Succi. “Isso é importante porque nos diz onde os médicos são verdadeiramente especialistas e agregam mais valor – nos estágios iniciais do atendimento ao paciente com pouca informação apresentada, quando é necessária uma lista de possíveis diagnósticos”.
Os autores observam que antes que ferramentas como o ChatGPT possam ser consideradas para integração nos cuidados clínicos, são necessárias mais pesquisas de referência e orientações regulatórias. Em seguida, a equipe de Succi está analisando se as ferramentas de IA podem melhorar o atendimento e os resultados dos pacientes em áreas com recursos limitados dos hospitais.
O surgimento de ferramentas de inteligência artificial na saúde tem sido inovador e tem o potencial de remodelar positivamente a continuidade dos cuidados. O Mass General Brigham, como um dos principais sistemas de saúde académicos integrados do país e uma das maiores empresas de inovação, está a liderar o caminho na condução de investigação rigorosa sobre tecnologias novas e emergentes para informar a incorporação responsável da IA na prestação de cuidados, no apoio à força de trabalho e nos processos administrativos.
“O Mass General Brigham vê uma grande promessa para os LLMs ajudarem a melhorar a prestação de cuidados e a experiência do médico”, disse o coautor Adam Landman, MD, MS, MIS, MHS, diretor de informação e vice-presidente sênior de digital do Mass General Brigham. “Atualmente, estamos avaliando soluções de LLM que auxiliam na documentação clínica e na elaboração de respostas às mensagens dos pacientes, com foco na compreensão de sua precisão, confiabilidade, segurança e equidade. Estudos rigorosos como este são necessários antes de integrarmos ferramentas de LLM nos cuidados clínicos.”
.
