.
“Large Language Models são modelos de linguagem de rede neural com habilidades de conversação notáveis. Eles geram respostas semelhantes às humanas e se envolvem em conversas interativas. No entanto, eles geralmente geram declarações altamente convincentes que estão comprovadamente erradas ou fornecem respostas inadequadas. Hoje não há como ser certo sobre a qualidade, nível de evidência ou consistência da informação clínica ou evidência de suporte para qualquer resposta. Esses chatbots são ferramentas inseguras quando se trata de aconselhamento médico e é necessário desenvolver novas estruturas que garantam a segurança do paciente”, disse o Prof. Stephen Gilbert , Professor de Ciência Reguladora de Dispositivos Médicos no Else Kröner Fresenius Center for Digital Health na TU Dresden.
Desafios na aprovação regulatória de grandes modelos de linguagem
A maioria das pessoas pesquisa seus sintomas online antes de procurar aconselhamento médico. Os mecanismos de pesquisa desempenham um papel importante no processo de tomada de decisão. A próxima integração de LLM-chatbots em motores de busca pode aumentar a confiança dos usuários nas respostas dadas por um chatbot que imita uma conversa. Foi demonstrado que os LLMs podem fornecer informações profundamente perigosas quando solicitados por perguntas médicas.
A abordagem subjacente do LLM não tem nenhum modelo de “verdade básica” médica, o que é inerentemente perigoso. Os LLMs com interface de bate-papo já forneceram respostas médicas prejudiciais e já foram usados de forma antiética em ‘experimentos’ em pacientes sem consentimento. Quase todos os casos de uso de LLM médico requerem controle regulatório na UE e nos EUA. Nos Estados Unidos, sua falta de explicação os desqualifica de serem ‘não-dispositivos’. LLMs com explicabilidade, baixo viés, previsibilidade, correção e resultados verificáveis não existem atualmente e não estão isentos de abordagens de governança atuais (ou futuras).
Neste artigo, os autores descrevem os cenários limitados em que os LLMs podem encontrar aplicação nas estruturas atuais, descrevem como os desenvolvedores podem procurar criar ferramentas baseadas em LLM que possam ser aprovadas como dispositivos médicos e exploram o desenvolvimento de novas estruturas que preservam a integridade do paciente segurança. “Os chatbots LLM atuais não atendem aos princípios-chave para IA na área da saúde, como controle de viés, explicabilidade, sistemas de supervisão, validação e transparência. Para ganhar seu lugar no arsenal médico, os chatbots devem ser projetados para melhor precisão, com segurança e eficácia clínica demonstrado e aprovado pelos reguladores”, conclui o Prof. Gilbert.
.
