.
As ferramentas de IA que criam relatórios narrativos detalhados com rapidez e precisão da tomografia computadorizada ou raio-X de um paciente podem aliviar muito a carga de trabalho de radiologistas ocupados.
Em vez de apenas identificar a presença ou ausência de anormalidades em uma imagem, esses relatórios de IA transmitem informações de diagnóstico complexas, descrições detalhadas, descobertas diferenciadas e graus apropriados de incerteza. Em resumo, eles espelham como os radiologistas humanos descrevem o que veem em uma varredura.
Vários modelos de IA capazes de gerar relatórios narrativos detalhados começaram a aparecer em cena. Com eles, surgiram sistemas de pontuação automatizados que avaliam periodicamente essas ferramentas para ajudar a informar seu desenvolvimento e aumentar seu desempenho.
Então, quão bem os sistemas atuais avaliam o desempenho radiológico de um modelo de IA?
A resposta é boa, mas não ótima, de acordo com um novo estudo de pesquisadores da Harvard Medical School publicado em 3 de agosto na revista Padrões.
Garantir que os sistemas de pontuação sejam confiáveis é fundamental para que as ferramentas de IA continuem a melhorar e para que os médicos confiem nelas, disseram os pesquisadores, mas as métricas testadas no estudo falharam em identificar com segurança erros clínicos nos relatórios de IA, alguns deles significativos. A descoberta, disseram os pesquisadores, destaca uma necessidade urgente de melhoria e a importância de projetar sistemas de pontuação de alta fidelidade que monitorem com fidelidade e precisão o desempenho da ferramenta.
A equipe testou várias métricas de pontuação em relatórios narrativos gerados por IA. Os pesquisadores também pediram a seis radiologistas humanos para ler os relatórios gerados pela IA.
A análise mostrou que, em comparação com os radiologistas humanos, os sistemas de pontuação automatizados se saíram pior em sua capacidade de avaliar os relatórios gerados pela IA. Eles interpretaram mal e, em alguns casos, ignoraram os erros clínicos cometidos pela ferramenta de IA.
“Avaliar com precisão os sistemas de IA é o primeiro passo crítico para gerar relatórios de radiologia clinicamente úteis e confiáveis”, disse o autor sênior do estudo, Pranav Rajpurkar, professor assistente de informática biomédica no Instituto Blavatnik da HMS.
Melhorando a pontuação
Em um esforço para projetar melhores métricas de pontuação, a equipe desenvolveu um novo método (RadGraph F1) para avaliar o desempenho de ferramentas de IA que geram automaticamente relatórios de radiologia a partir de imagens médicas.
Eles também projetaram uma ferramenta de avaliação composta (RadCliQ) que combina várias métricas em uma única pontuação que melhor corresponde a como um radiologista humano avaliaria o desempenho de um modelo de IA.
Usando essas novas ferramentas de pontuação para avaliar vários modelos de IA de última geração, os pesquisadores descobriram uma lacuna notável entre a pontuação real dos modelos e a pontuação máxima possível.
“A medição do progresso é fundamental para levar a IA à medicina para o próximo nível”, disse o co-autor Feiyang ‘Kathy’ Yu, pesquisador associado do laboratório de Rajpurkar. “Nossa análise quantitativa nos aproxima da IA que aumenta os radiologistas para fornecer um melhor atendimento ao paciente”.
A longo prazo, a visão dos pesquisadores é construir modelos generalistas de IA médica que executem uma série de tarefas complexas, incluindo a capacidade de resolver problemas nunca antes encontrados. Esses sistemas, disse Rajpurkar, podem conversar fluentemente com radiologistas e médicos sobre imagens médicas para auxiliar no diagnóstico e nas decisões de tratamento.
A equipe também pretende desenvolver assistentes de IA que possam explicar e contextualizar os achados de imagem diretamente aos pacientes usando linguagem simples do dia a dia.
“Ao se alinhar melhor com os radiologistas, nossas novas métricas acelerarão o desenvolvimento da IA que se integra perfeitamente ao fluxo de trabalho clínico para melhorar o atendimento ao paciente”, disse Rajpurkar.
.
