.
Modelos de inteligência artificial que interpretam imagens médicas prometem melhorar a capacidade dos médicos de fazer diagnósticos precisos e oportunos, além de diminuir a carga de trabalho, permitindo que médicos ocupados se concentrem em casos críticos e deleguem tarefas rotineiras à IA.
Mas os modelos de IA que não têm transparência sobre como e por que um diagnóstico é feito podem ser problemáticos. Esse raciocínio opaco – também conhecido como IA de “caixa preta” – pode diminuir a confiança do clínico na confiabilidade da ferramenta de IA e, assim, desencorajar seu uso. Essa falta de transparência também pode levar os médicos a confiar demais na interpretação da ferramenta.
No campo da imagem médica, uma maneira de criar modelos de IA mais compreensíveis e desmistificar a tomada de decisões de IA são as avaliações de saliência – uma abordagem que usa mapas de calor para identificar se a ferramenta está focando corretamente apenas nas partes relevantes de um determinado imagem ou focando em partes irrelevantes dela.
Os mapas de calor funcionam destacando áreas em uma imagem que influenciaram a interpretação do modelo de IA. Isso pode ajudar os médicos humanos a ver se o modelo de IA se concentra nas mesmas áreas que eles ou se está focando erroneamente em pontos irrelevantes em uma imagem.
Mas um novo estudo, publicado em Natureza Inteligência de máquina em 10 de outubro, mostra que, apesar de todas as promessas, os mapas de calor de saliência podem ainda não estar prontos para o horário nobre.
A análise, liderada pelo investigador da Harvard Medical School Pranav Rajpurkar, Matthew Lungren de Stanford e Adriel Saporta da Universidade de Nova York, quantificou a validade de sete métodos de saliência amplamente utilizados para determinar com que confiabilidade e precisão eles poderiam identificar patologias associadas a 10 condições comumente diagnosticadas na radiografia, como lesões pulmonares, derrame pleural, edema ou estruturas cardíacas aumentadas. Para verificar o desempenho, os pesquisadores compararam o desempenho das ferramentas com o julgamento de especialistas humanos.
Na análise final, as ferramentas que usam mapas de calor baseados em saliência tiveram um desempenho consistentemente inferior na avaliação de imagens e em sua capacidade de detectar lesões patológicas, em comparação com radiologistas humanos.
O trabalho representa a primeira análise comparativa entre mapas de saliência e desempenho de especialistas humanos na avaliação de múltiplas patologias radiográficas. O estudo também oferece uma compreensão granular de se e como certas características patológicas em uma imagem podem afetar o desempenho da ferramenta de IA.
O recurso de mapa de saliência já é usado como ferramenta de garantia de qualidade por práticas clínicas que empregam IA para interpretar métodos de detecção auxiliados por computador, como leitura de raios-X de tórax. Mas à luz das novas descobertas, esse recurso deve ser aplicado com cautela e uma dose saudável de ceticismo, disseram os pesquisadores.
“Nossa análise mostra que os mapas de saliência ainda não são confiáveis o suficiente para validar decisões clínicas individuais feitas por um modelo de IA”, disse Rajpurkar, professor assistente de informática biomédica no HMS. “Identificamos limitações importantes que levantam sérias preocupações de segurança para uso na prática atual”.
Os pesquisadores alertam que, devido às importantes limitações identificadas no estudo, os mapas de calor baseados em saliência devem ser ainda mais refinados antes de serem amplamente adotados em modelos clínicos de IA.
A base de código completa, os dados e a análise da equipe estão abertos e disponíveis para todos os interessados em estudar esse importante aspecto do aprendizado de máquina clínico em aplicativos de imagens médicas.
Os co-autores incluíram Xiaotong Gui, Ashwin Agrawal, Anuj Pareek, Jayne Seekins, Francis Blankenberg e Andrew Ng, todos da Universidade de Stanford; Steven Truong e Chanh Nguyen, da VinBrain, Vietnã; e Van-Doan Ngo, do Vinmec International Hospital, Vietnã.
Fonte da história:
Materiais fornecidos por Faculdade de Medicina de Harvard. Original escrito por Ekaterina Pesheva. Nota: O conteúdo pode ser editado para estilo e duração.
.
