▲
- Um estudo da Royal Society analisou a precisão de resumos de chatbots de IA e constatou alta taxa de erro.
- Se você depende de chatbots para informações, é crucial entender que podem falhar em detalhes importantes.
- A ineficiência dos chatbots pode levar a interpretações errôneas de dados científicos, afetando decisões de usuários e pesquisadores.
- A pesquisa destaca a necessidade de intervenções humanas para garantir a precisão em resumos de dados.
As promessas de que a inteligência artificial (IA) está cada vez mais inteligente são inúmeras. Espera-se que ela acelere descobertas científicas, agilize testes médicos e revolucione a pesquisa acadêmica. No entanto, um estudo recente da Royal Society revelou que até 73% das respostas de chatbots de IA podem ser imprecisas, mesmo quando parecem confiáveis.
Um estudo colaborativo analisou quase 5.000 resumos de estudos científicos gerados por dez chatbots populares, incluindo ChatGPT-4o, ChatGPT-4.5, DeepSeek e LLaMA 3.3 70B. A pesquisa descobriu que as respostas da IA, mesmo quando direcionadas a fornecer informações corretas, careciam de detalhes importantes cinco vezes mais do que resumos científicos escritos por humanos.
Os pesquisadores alertam que, ao resumir textos científicos, os LLMs (Modelos de Linguagem Grandes) podem omitir detalhes que limitam o escopo das conclusões da pesquisa. Isso leva a generalizações de resultados mais amplas do que o estudo original justifica.
Alarmantemente, a taxa de erro dos LLMs aumentou com as versões mais recentes dos chatbots, o oposto do que os líderes da indústria de IA têm prometido. Além disso, há uma correlação entre a tendência de um LLM de generalizar demais e sua popularidade, o que representa um risco significativo de interpretações errôneas em larga escala de resultados de pesquisa.
Por exemplo, o uso dos dois modelos ChatGPT listados no estudo dobrou entre adolescentes dos EUA, de 13% para 26%, entre 2023 e 2025. Embora o ChatGPT-4 Turbo, a versão mais antiga, tenha sido aproximadamente 2,6 vezes mais propenso a omitir detalhes importantes em comparação com os textos originais, os modelos ChatGPT-4o mais recentes foram nove vezes mais propensos a fazê-lo. Essa tendência também foi observada no LLaMA 3.3 70B da Meta, que foi 36,4 vezes mais propenso a generalizar demais em comparação com as versões mais antigas.
Leia também:
Desafios na Síntese de Dados por IA
Sintetizar grandes quantidades de dados em poucas frases é uma tarefa complexa. Embora seja relativamente fácil para humanos, programar essa capacidade em um chatbot é um desafio. O cérebro humano consegue aprender lições amplas a partir de experiências específicas, mas as nuances complexas dificultam para os chatbots determinarem quais fatos priorizar.
Um humano rapidamente entende que fogões podem queimar, enquanto geladeiras não. No entanto, um LLM pode concluir que todos os eletrodomésticos de cozinha ficam quentes, a menos que seja especificamente instruído do contrário. Essa dificuldade se estende ao mundo científico, onde a complexidade aumenta rapidamente.
A síntese de informações também é demorada para os humanos. Os pesquisadores destacam os ambientes clínicos como áreas onde os resumos de LLM poderiam ter um grande impacto no trabalho. No entanto, nesses ambientes, os detalhes são cruciais, e até a menor omissão pode ter consequências graves.
Aplicações Inapropriadas e Riscos Potenciais
É preocupante que os LLMs estejam sendo inseridos em todos os tipos de ambientes, desde tarefas escolares até farmácias e engenharia mecânica, apesar de evidências crescentes de problemas de precisão inerentes à IA.
Impacto nas áreas de conhecimento
Apesar dos riscos, a aplicação de inteligência artificial em diversas áreas continua a crescer. No setor elétrico, por exemplo, a Cemig e a Huawei anunciaram uma parceria para modernizar o setor com IA, buscando aumentar a eficiência e a segurança das operações.
No setor de saúde, um sistema de IA para mapear e prevenir acidentes de trânsito foi implementado no Paraná.
Limitações e Próximos Passos
Os cientistas apontaram algumas limitações importantes em suas descobertas. Uma delas é que os comandos inseridos nos LLMs podem influenciar significativamente a resposta gerada. Ainda não se sabe se isso afeta os resumos de artigos científicos, o que sugere uma possível área para futuras pesquisas.
Apesar dessas limitações, as tendências são claras. A menos que os desenvolvedores de IA consigam direcionar seus novos LLMs para o caminho certo, será necessário continuar contando com os “humildes blogueiros humanos” para resumir relatórios científicos.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via Futurism
