IA
IA para pedir conselhos médicos? Melhor não! Esse estudo mostra por quê
A inteligência virtual (IA) segue em rápido desenvolvimento, sendo incorporada em diversas áreas, incluindo a saúde. A tecnologia já tem sido aplicada em diagnósticos, procedimentos e tratamentos, e em pesquisas envolvendo dados médicos.
No entanto, o uso de ferramentas de IA no setor ainda enfrenta desafios éticos e técnicos, sendo ainda insuficiente para substituir a ação profissional de humanos. Um estudo publicado na revista científica British Medical Journal (BMJ), no último dia 11, revelou, por exemplo, que o chatbot de IA Bing, alimetado pelo Microsoft Copilot, não é confiável para pacientes que buscam informações precisas e seguras sobre medicamentos.
Isto porque as respostas da IA não correspondiam aos conhecimentos médicos em 24% dos casos e, em 3% deles, estavam completamente erradas. Além de apresentar conteúdo impreciso, a linguagem utilizada pelo assistente virtual foi considerada complexa, exigindo um nível de leitura compatível a formação de ensino médio e até graduação em alguns casos.
Pesquisadores alemães e belgas testaram 10 perguntas frequentes sobre os 50 medicamentos mais prescritos nos Estados Unidos, gerando 500 respostas diferentes no Copilot. Eles avaliaram a legibilidade, integridade e precisão dos feedbacks. Em termos de dano potencial aos pacientes, 42% das respostas foram consideradas potencial risco moderado ou leve à saúde, e 22% à morte ou dano grave. A seguir, saiba mais sobre as descobertas e entenda se o uso de ferramentas de IA na área da saúde é seguro.
Como funcionou a pesquisa com o Copilot
Pesquisadores da Alemanha e da Bélgica se uniram em um estudo baseado no chatbot de IA Microsoft Copilot — que, na época dos testes, ainda era chamado de Bing Copilot — para avaliar as respostas da ferramenta a perguntas sobre remédios. Os testes envolveram 10 questionamentos comuns sobre os 50 medicamentos mais prescritos nos Estados Unidos. Foram analisados aspectos como a facilidade de leitura e a precisão das informações, fundamentais para a compreensão dos pacientes e para o tratamento adequado. O objetivo era descobrir se a ferramenta conseguia fornecer conteúdo útil e correto ao usuário, evitando risco à saúde.
Ao analisar aspectos como legibilidade, precisão e integridade das informações em 500 feedbacks do Copilot, os pesquisadores identificaram que:
A pesquisa indicou, ainda, um possível problema de compreensão das informações. Isto porque, segundo os especialistas, a média dos feedbacks do Copilot exigia um nível de leitura compatível à formação de ensino médio ou graduação. As conclusões são baseadas na escala Flesch Reading Ease Score, que estima o nível educacional necessário para entender um texto específico.
A IA deve ser descartada da área da saúde?
O estudo feito com o Copilot aponta uma preocupação recente da comunidade científica diante dos usos da IA em diagnósticos e auxílio a pacientes. Mas o mal desempenho da ferramenta nesses testes não significa que a tecnologia deva ser eliminada do setor. Vale lembrar que chatbots de inteligência artificial são geralmente treinados com grandes bases de dados disponíveis na internet, que podem conter conteúdos falsos, imprecisos e genéricos. Por isso, é fundamental haver atenção redobrada para garantir a ética e a eficácia dessas ferramentas em qualquer tipo de tratamento envolvendo seres vivos.
No entanto, ferramentas que utilizam aprendizado de máquina específico e especializado na área da saúde, seja na detecção de câncer de mama ou em modelos criados para auxílio de diagnósticos, por exemplo, já apontam resultados promissores, superando, inclusive, a média de acertos dos médicos. A IA também desempenha um papel importante na análise de imagens, auxiliando na detecção precoce de doenças ou acelerando a interpretação de exames mais complexos. A tecnologia ainda é útil para identificar novos candidatos a medicamentos e processar um excesso de dados, oferecendo assistência a profissionais e pesquisadores do setor.