Estudo revela que IA tem precisão similar a médicos não especialistas em diagnósticos

Uma pesquisa recente comparou o desempenho da inteligência artificial (IA) generativa com médicos no diagnóstico de doenças. O estudo, da Universidade Metropolitana de Osaka, analisou 83 pesquisas e mostrou que a IA tem precisão similar a médicos não especialistas, mas ainda fica atrás dos especialistas. Isso levanta discussões sobre o futuro da IA na medicina.

Como a IA se Compara aos Médicos?

A análise detalhada, liderada pelo Dr. Hirotaka Takita e pelo Professor Associado Daiju Ueda, revisou 18.371 estudos, selecionando 83 para uma análise aprofundada. O objetivo era entender as capacidades e limitações da IA no campo diagnóstico.

Vários modelos de IA generativa foram avaliados, incluindo GPT-4 (o mais estudado), Llama3 70B, Gemini 1.5 Pro e Claude 3 Sonnet. Esses modelos foram testados em diversas áreas médicas para verificar sua performance.

A precisão diagnóstica média desses modelos ficou em 52,1%. O ponto principal é que a precisão da IA foi estatisticamente semelhante à de médicos não especialistas. A diferença foi mínima: apenas 0,6%, o que não é considerado significativo pelos pesquisadores (p=0,93).

No entanto, a história muda quando comparamos com médicos especialistas. Eles ainda superam a IA, com uma diferença de precisão de 15,8% (p=0,007), mostrando que a experiência humana ainda é um fator importante.

Desempenho da IA vs Médicos em Diferentes Áreas

O estudo observou que o desempenho da IA foi parecido na maioria das especialidades médicas. Isso sugere uma capacidade generalista da tecnologia em diferentes contextos clínicos.

Houve exceções notáveis, como na dermatologia, onde a IA mostrou resultados mais fortes. Isso provavelmente se deve à capacidade da IA de reconhecer padrões visuais, algo comum na área.

Contudo, os pesquisadores alertam que a dermatologia também exige raciocínio complexo e decisões específicas para cada paciente, então os resultados não contam toda a história. A complexidade do diagnóstico vai além do reconhecimento de padrões.

Na urologia, os achados foram baseados em um único estudo grande, dificultando a generalização dos resultados. Mais pesquisas são necessárias para confirmar o desempenho da IA nesta especialidade.

Potencial na Educação e Desafios Éticos

Além do diagnóstico, a pesquisa aponta um potencial interessante para o uso da IA na educação médica. Segundo os autores, o desempenho comparável da IA com médicos não especialistas abre portas para integrar essas ferramentas no treinamento.

A IA poderia simular casos clínicos reais, ajudando estudantes e médicos em treinamento a praticar e avaliar suas habilidades em um ambiente controlado e seguro.

Mas nem tudo são flores. Existem preocupações sobre a transparência e o viés desses modelos. Muitos sistemas de IA não divulgam detalhes sobre seus dados de treinamento.

Isso levanta dúvidas se os resultados podem ser aplicados a todas as populações. A transparência é fundamental para entender o conhecimento, o contexto e as limitações do modelo, garantindo um uso ético.

Os pesquisadores enfatizam a necessidade de aplicações de IA claras, éticas e rigorosamente validadas. A confiança na tecnologia depende dessa validação contínua.

Por enquanto, a IA generativa, embora promissora, ainda encontra dificuldades em casos complexos que envolvem informações detalhadas do paciente. A capacidade de lidar com nuances clínicas ainda é um desafio.

Será que os médicos devem começar a se preocupar em perder seus empregos? É difícil afirmar neste momento. No entanto, no que diz respeito ao diagnóstico, essa é certamente uma possibilidade em desenvolvimento.

Pesquisas futuras são necessárias para avaliar a IA em cenários clínicos mais complexos, usar registros médicos reais, melhorar a transparência das decisões da IA e verificar seu desempenho em diversos grupos de pacientes. A evolução da tecnologia ditará seu papel na saúde.

Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.

Via Neowin