.
Os modelos construídos com base na aprendizagem automática nos cuidados de saúde podem ser vítimas do seu próprio sucesso, de acordo com investigadores da Escola de Medicina Icahn e da Universidade de Michigan. O estudo avaliou o impacto da implementação de modelos preditivos no desempenho subsequente desses e de outros modelos. Suas descobertas – de que usar os modelos para ajustar a forma como o atendimento é prestado pode alterar as suposições básicas nas quais os modelos foram “treinados”, muitas vezes para pior – foram detalhadas na edição on-line de 9 de outubro da revista Anais de Medicina Interna.
“Queríamos explorar o que acontece quando um modelo de aprendizado de máquina é implantado em um hospital e pode influenciar as decisões dos médicos para o benefício geral dos pacientes”, disse o primeiro e autor correspondente Akhil Vaid, MD, Instrutor Clínico de Medicina Digital e Orientada a Dados (D3M), parte do Departamento de Medicina de Icahn Mount Sinai. “Por exemplo, procuramos compreender as consequências mais amplas quando um paciente é poupado de resultados adversos, como danos renais ou mortalidade. Os modelos de IA possuem a capacidade de aprender e estabelecer correlações entre os dados recebidos do paciente e os resultados correspondentes, mas o uso desses modelos, por definição, pode alterar essas relações. Os problemas surgem quando essas relações alteradas são capturadas de volta nos registros médicos.
O estudo simulou cenários de cuidados intensivos em duas grandes instituições de saúde, o Mount Sinai Health System, em Nova York, e o Beth Israel Deaconess Medical Center, em Boston, analisando 130.000 internações em cuidados intensivos. Os pesquisadores investigaram três cenários principais:
1. Retreinamento do modelo após o uso inicial
A prática atual sugere modelos de reciclagem para lidar com a degradação do desempenho ao longo do tempo. A reconversão profissional pode melhorar inicialmente o desempenho, adaptando-se às condições em mudança, mas o estudo do Monte Sinai mostra que, paradoxalmente, pode levar a uma degradação ainda maior, ao perturbar as relações aprendidas entre apresentação e resultado.
2. Criar um novo modelo depois de um já estar em uso
Seguir as previsões de um modelo pode salvar os pacientes de resultados adversos, como sepse. No entanto, a morte pode seguir-se à sépsis e o modelo funciona eficazmente para prevenir ambas. Quaisquer novos modelos desenvolvidos no futuro para a previsão da morte estarão agora também sujeitos a perturbações nas relações, tal como antes. Como não sabemos as relações exatas entre todos os resultados possíveis, quaisquer dados de pacientes com cuidados influenciados pelo aprendizado de máquina podem ser inadequados para uso no treinamento de modelos adicionais.
3. Uso simultâneo de dois modelos preditivos
Se dois modelos fazem previsões simultâneas, usar um conjunto de previsões torna o outro obsoleto. Portanto, as previsões devem basear-se em dados recentemente recolhidos, o que pode ser dispendioso ou impraticável.
“Nossas descobertas reforçam as complexidades e os desafios de manter o desempenho do modelo preditivo no uso clínico ativo”, diz o co-autor sênior Karandeep Singh, MD, professor associado de aprendizagem de ciências da saúde, medicina interna, urologia e informação na Universidade de Michigan. “O desempenho do modelo pode cair drasticamente se a composição das populações de pacientes mudar. No entanto, as medidas corretivas acordadas podem desmoronar completamente se não prestarmos atenção ao que os modelos estão fazendo – ou, mais propriamente, ao que eles estão aprendendo.”
“Não devemos ver os modelos preditivos como não confiáveis”, diz o co-autor sênior Girish Nadkarni, MD, MPH, Irene e Dr. Arthur M. Fishberg Professor de Medicina em Icahn Mount Sinai, Diretor do Instituto Charles Bronfman de Medicina Personalizada, e Chefe do Sistema de Medicina Digital e Baseada em Dados. “Em vez disso, trata-se de reconhecer que estas ferramentas requerem manutenção, compreensão e contextualização regulares. Negligenciar o seu desempenho e a monitorização do impacto pode prejudicar a sua eficácia. Devemos utilizar modelos preditivos cuidadosamente, tal como qualquer outra ferramenta médica. Os sistemas de aprendizagem e saúde devem prestar atenção a o fato de que o uso indiscriminado e as atualizações de tais modelos causarão alarmes falsos, testes desnecessários e aumento de custos.”
“Recomendamos que os sistemas de saúde implementem imediatamente um sistema para rastrear indivíduos afetados pelas previsões de aprendizagem automática e que as agências governamentais relevantes emitam diretrizes”, afirma o Dr. “Estas descobertas são igualmente aplicáveis fora dos ambientes de cuidados de saúde e estendem-se aos modelos preditivos em geral. Como tal, vivemos num mundo em que modelo come modelo, onde qualquer modelo implementado ingenuamente pode perturbar a função dos modelos atuais e futuros e, eventualmente, tornar em si inútil.”
O trabalho foi apoiado pelo prêmio clínico e translacional para infraestrutura UL1TR004419.
.
