Grandes modelos de linguagem (LLMs) estão cada vez mais sofisticados, mas ainda sofrem com as chamadas alucinações de IA, que são informações imprecisas ou falsas. Em áreas críticas como a saúde, isso pode ser muito perigoso. A Mayo Clinic, um dos principais hospitais dos EUA, desenvolveu uma técnica inovadora para resolver esse problema, superando as limitações da geração aumentada de recuperação (RAG) ao usar uma espécie de RAG “ao contrário”, que conecta cada dado à sua fonte original.
Com essa abordagem, a Mayo Clinic conseguiu eliminar quase todas as alucinações de dados em casos de uso não diagnósticos, permitindo que a ferramenta fosse utilizada em toda a sua prática clínica. Matthew Callstrom, diretor médico de estratégia da Mayo e chefe de radiologia, explicou à VentureBeat que, ao referenciar as fontes de informação por meio de links, a extração de dados deixou de ser um problema.
Atenção a cada detalhe
Trabalhar com dados de saúde é complicado e pode consumir muito tempo. Embora os registros eletrônicos de saúde (EHRs) contenham grandes volumes de dados, encontrá-los e analisá-los pode ser bastante difícil. Por isso, a Mayo Clinic começou a usar a IA para organizar esses dados, focando inicialmente nos resumos de alta (relatórios de visitas com dicas de cuidados posteriores), usando o RAG tradicional.
Callstrom explicou que essa escolha foi natural, já que se trata de extração e sumarização simples, tarefas em que os LLMs geralmente se destacam. “Na primeira fase, não estamos tentando chegar a um diagnóstico, onde você pode perguntar ao modelo qual é o próximo melhor passo para este paciente”, disse ele.
O risco de alucinações de IA também era menor do que em cenários de assistência médica, mas os erros na recuperação de dados ainda eram problemáticos. “Nas primeiras versões, tivemos algumas alucinações engraçadas que não seriam toleráveis, como a idade errada do paciente”, relatou Callstrom. “Então, tivemos que construir tudo com muito cuidado.”
Leia também:
Embora o RAG tenha sido fundamental para aprimorar as capacidades dos LLMs, ele tem suas limitações. Os modelos podem recuperar dados irrelevantes, imprecisos ou de baixa qualidade, falhar ao determinar se a informação é relevante para a pergunta do usuário ou gerar resultados que não correspondem aos formatos solicitados. Para contornar esses problemas, existem soluções como o graph RAG, que usa grafos de conhecimento para fornecer contexto, ou o corrective RAG (CRAG), que avalia a qualidade dos documentos recuperados.
Referenciando cada ponto de dado
É aqui que entra o processo de RAG “ao contrário”. A Mayo Clinic combinou o algoritmo de clustering using representatives (CURE) com LLMs e bancos de dados vetoriais para verificar a recuperação de dados. O clustering é crucial para o aprendizado de máquina (ML), pois organiza, classifica e agrupa os dados com base em suas semelhanças ou padrões, ajudando os modelos a “entender” os dados.
O CURE vai além do clustering tradicional com uma técnica hierárquica, usando medidas de distância para agrupar os dados com base na proximidade, detectando também outliers (pontos de dados que não correspondem aos demais). Ao combinar o CURE com uma abordagem de RAG “ao contrário”, o LLM da Mayo dividiu os resumos gerados em fatos individuais, ligando-os aos documentos de origem. Um segundo LLM avaliou o alinhamento dos fatos com as fontes, verificando se havia uma relação causal entre os dois.
“Cada ponto de dado é referenciado de volta aos dados de laboratório originais ou ao relatório de imagem”, explicou Callstrom. “O sistema garante que as referências sejam reais e recuperadas com precisão, resolvendo efetivamente a maioria das alucinações relacionadas à recuperação.” A equipe de Callstrom usou bancos de dados vetoriais para ingerir os registros dos pacientes, permitindo que o modelo recuperasse as informações rapidamente.
Inicialmente, eles usaram um banco de dados local para a prova de conceito (POC), mas a versão de produção é um banco de dados genérico com lógica no próprio algoritmo CURE. “Os médicos são muito céticos e querem ter certeza de que não estão recebendo informações não confiáveis”, disse Callstrom. “Portanto, confiança para nós significa verificação de qualquer conteúdo que possa ser exibido.” Essa preocupação com a confiabilidade da informação é fundamental para a adoção de novas tecnologias em ambientes de saúde.
Grande interesse na prática da Mayo
A técnica CURE se mostrou útil para sintetizar novos registros de pacientes. Registros externos que detalham os problemas complexos dos pacientes podem ter “montanhas” de conteúdo em diferentes formatos, explicou Callstrom. Isso precisa ser revisado e resumido para que os médicos possam se familiarizar com os casos antes de verem os pacientes pela primeira vez.
“Sempre descrevo os registros médicos externos como uma planilha: você não tem ideia do que está em cada célula, precisa olhar para cada uma para extrair o conteúdo”, disse ele. Agora, o LLM faz a extração, categoriza o material e cria uma visão geral do paciente. Essa tarefa, que antes levava cerca de 90 minutos do dia de um médico, agora pode ser feita pela IA em cerca de 10 minutos, segundo Callstrom.
Ele descreveu um “interesse incrível” em expandir a capacidade em toda a prática da Mayo para ajudar a reduzir a carga administrativa e a frustração. “Nosso objetivo é simplificar o processamento de conteúdo: como posso aumentar as habilidades e simplificar o trabalho do médico?”, afirmou. A aplicação de IA para diminuir o fardo administrativo é vista como uma grande oportunidade para melhorar a eficiência e a satisfação dos profissionais de saúde.
Essa otimização do tempo médico pode ser comparada à redução de burocracia proporcionada pelos microsserviços no setor financeiro, que também visa simplificar processos e aumentar a eficiência.
Abordando problemas mais complexos com IA
Callstrom e sua equipe veem um grande potencial para a IA em áreas mais avançadas. Por exemplo, eles se uniram à Cerebras Systems para construir um modelo genômico que prevê qual será o melhor tratamento para artrite para um paciente, e também estão trabalhando com a Microsoft em um codificador de imagem e um modelo de fundação de imagem. O primeiro projeto de imagem com a Microsoft é de raios-X de tórax. Até agora, eles converteram 1,5 milhão de raios-X e planejam fazer mais 11 milhões na próxima rodada.
Callstrom explicou que não é difícil construir um codificador de imagem, mas a complexidade está em tornar as imagens resultantes realmente úteis. O ideal é simplificar a forma como os médicos da Mayo revisam os raios-X de tórax e aumentar suas análises. A IA pode, por exemplo, identificar onde eles devem inserir um tubo endotraqueal ou uma linha central para ajudar os pacientes a respirar.
“Mas isso pode ser muito mais amplo”, disse Callstrom. Por exemplo, os médicos podem desbloquear outros conteúdos e dados, como uma previsão simples da fração de ejeção (a quantidade de sangue bombeada para fora do coração) a partir de um raio-X de tórax. “Agora você pode começar a pensar sobre a resposta da previsão à terapia em uma escala mais ampla”, acrescentou.
A Mayo também vê uma “oportunidade incrível” na genômica (o estudo do DNA), bem como em outras áreas “ômicas”, como a proteômica (o estudo de proteínas). A IA poderia dar suporte à transcrição de genes, ou seja, o processo de cópia de uma sequência de DNA, para criar pontos de referência para outros pacientes e ajudar a construir um perfil de risco ou caminhos de terapia para doenças complexas.
O futuro da IA na medicina
“Basicamente, você está mapeando pacientes contra outros pacientes, construindo cada paciente em torno de uma coorte”, explicou Callstrom. “É isso que a medicina personalizada realmente fornecerá: ‘Você se parece com estes outros pacientes, esta é a maneira como devemos tratá-lo para ver os resultados esperados’. O objetivo é realmente devolver a humanidade aos cuidados de saúde à medida que usamos essas ferramentas.”
No entanto, Callstrom enfatizou que tudo no lado do diagnóstico requer muito mais trabalho. Uma coisa é demonstrar que um modelo de fundação para genômica funciona para artrite reumatoide, outra é validar isso em um ambiente clínico. Os pesquisadores precisam começar testando pequenos conjuntos de dados, expandir gradualmente os grupos de teste e comparar com a terapia convencional ou padrão. “Você não vai imediatamente para, ‘Ei, vamos pular o Metotrexato'”, observou.
Em última análise, Callstrom conclui: “Reconhecemos a incrível capacidade desses modelos de realmente transformar a forma como cuidamos dos pacientes e diagnosticamos de forma significativa, para ter um atendimento mais centrado no paciente ou específico para o paciente, em vez da terapia padrão. Os dados complexos com os quais lidamos no atendimento ao paciente são onde estamos focados.”
Em outras palavras, a Mayo Clinic está focada em usar a IA não apenas para otimizar processos, mas para personalizar o tratamento e melhorar os resultados para os pacientes. Essa abordagem centrada no paciente é um exemplo de como a tecnologia pode ser usada para melhorar a saúde e o bem-estar das pessoas, assim como a nova ferramenta de monitoramento do sono da Samsung visa oferecer dados mais precisos para melhorar a qualidade de vida.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via VentureBeat
