RAG para LLMs pode afetar a segurança da IA, revela estudo

Será que o RAG para LLMs (Retrieval Augmented Generation) realmente torna os modelos de linguagem mais seguros? Uma pesquisa recente da Bloomberg revela que, embora o RAG para LLMs melhore a precisão do conteúdo em sistemas de inteligência artificial, ele pode, surpreendentemente, comprometer a segurança desses modelos. Este estudo desafia a ideia de que o RAG para LLMs inerentemente protege os sistemas de IA, levantando questões importantes sobre a avaliação e a implementação de salvaguardas em aplicações financeiras e outras áreas.

RAG para LLMs: Uma Faceta Inesperada na Segurança da IA

A pesquisa da Bloomberg, intitulada “RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models“, avaliou 11 modelos de linguagem populares, incluindo Claude-3.5-Sonnet, Llama-3-8B e GPT-4o. Os resultados mostram que, ao usar o RAG para LLMs, modelos que normalmente rejeitam consultas prejudiciais em configurações padrão, muitas vezes produzem respostas inseguras.

Paralelamente, a Bloomberg divulgou outro estudo, “Understanding and Mitigating Risks of Generative AI in Financial Services“, que introduz uma taxonomia especializada de risco de conteúdo de IA para serviços financeiros, abordando preocupações específicas não cobertas por abordagens de segurança de uso geral. Amanda Stent, chefe de estratégia e pesquisa de IA da Bloomberg, enfatiza que é essencial colocar lógica de negócios ou verificações de fatos em torno do sistema RAG para LLMs para mitigar esses riscos.

Sebastian Gehrmann, chefe de IA Responsável da Bloomberg, explicou que sistemas precisam ser avaliados no contexto em que são implementados, e não se pode simplesmente confiar na palavra de outros que afirmam que um modelo é seguro. É crucial que as empresas validem a segurança de suas implementações de IA no ambiente específico em que serão utilizadas. Se você está buscando otimizar ainda mais seus sistemas de IA, vale a pena explorar como saber se seu produto de IA está realmente funcionando.

Como o RAG para LLMs Afeta a Segurança dos Modelos de Linguagem?

O RAG para LLMs é amplamente utilizado para fornecer conteúdo fundamentado e preciso, ajudando a reduzir alucinações em modelos de linguagem. No entanto, a pesquisa da Bloomberg revela que a implementação do RAG para LLMs pode, paradoxalmente, enfraquecer as proteções de segurança integradas nesses modelos.

A equipe de pesquisa descobriu que modelos que normalmente rejeitam consultas prejudiciais em configurações padrão, muitas vezes produzem respostas inseguras quando o RAG para LLMs está em uso. Por exemplo, as respostas inseguras do Llama-3-8B saltaram de 0,3% para 9,2% após a implementação do RAG para LLMs.

Gehrmann explica que, sem o RAG para LLMs, o sistema de segurança integrado bloquearia consultas maliciosas. No entanto, quando a mesma consulta é feita em um LLM que utiliza o RAG para LLMs, o sistema responde à consulta maliciosa, mesmo que os documentos recuperados sejam seguros. Essa descoberta destaca uma vulnerabilidade inesperada no uso do RAG para LLMs.

Ele explica que, ao aplicar o RAG para LLMs, o contexto adicional recuperado, mesmo que não contenha informações que abordem a consulta maliciosa original, ainda pode levar o sistema a responder a essa consulta. Isso ocorre porque o sistema pode estar interpretando o contexto adicional de uma forma que contorne as salvaguardas originais. Se você se interessa por novidades no mundo da tecnologia, não deixe de conferir os lançamentos mais recentes de celulares Samsung.

O Mecanismo por Trás da Bypassing das Proteções

Os pesquisadores da Bloomberg não têm certeza absoluta de como o RAG para LLMs consegue contornar as proteções de segurança. No entanto, eles têm algumas teorias. Uma delas é que os LLMs podem não ter sido totalmente treinados com alinhamentos de segurança para entradas muito longas. A pesquisa demonstrou que o comprimento do contexto impacta diretamente a degradação da segurança. Quanto mais documentos são fornecidos, mais vulneráveis os LLMs tendem a ser. A introdução de um único documento seguro pode alterar significativamente o comportamento de segurança.

Amanda Stent ressalta que não é possível escapar desse risco inerente aos sistemas RAG para LLMs. A solução, segundo ela, é implementar lógica de negócios, verificações de fatos ou proteções em torno do sistema RAG para LLMs central. A equipe da Bloomberg também está atenta às novidades do mercado e destaca que a Xiaomi Atualiza Tecnologia de Câmeras em Smartphones.

Taxonomias Genéricas de Segurança de IA Falham em Serviços Financeiros

O segundo estudo da Bloomberg introduz uma taxonomia especializada de risco de conteúdo de IA para serviços financeiros, abordando preocupações específicas do domínio, como má conduta financeira, divulgação confidencial e narrativas contrafactuais. Os pesquisadores demonstraram empiricamente que os sistemas de proteção existentes não conseguem identificar esses riscos especializados. Eles testaram modelos de proteção de código aberto, incluindo Llama Guard, Llama Guard 3, AEGIS e ShieldGemma, contra dados coletados durante exercícios de red-teaming.

Sebastian Gehrmann explica que modelos de proteção de propósito geral são desenvolvidos para riscos específicos voltados ao consumidor e, portanto, focados em toxicidade e viés. Embora importantes, essas preocupações não são necessariamente específicas de qualquer setor ou domínio. A principal conclusão da pesquisa é que as organizações precisam ter uma taxonomia específica do domínio para seus próprios casos de uso de aplicações e setores específicos. Essa abordagem permite que as empresas identifiquem e mitiguem os riscos mais relevantes para suas operações.

Implicações Práticas para a Implantação de IA Empresarial

Para as empresas que buscam liderar no campo da IA, a pesquisa da Bloomberg significa que as implementações de RAG para LLMs exigem uma reconsideração fundamental da arquitetura de segurança. Os líderes devem abandonar a visão de proteções e RAG para LLMs como componentes separados e, em vez disso, projetar sistemas de segurança integrados que antecipem especificamente como o conteúdo recuperado pode interagir com as proteções do modelo.

Organizações líderes do setor precisarão desenvolver taxonomias de risco específicas do domínio, adaptadas aos seus ambientes regulatórios, mudando de estruturas genéricas de segurança de IA para aquelas que abordam preocupações de negócios específicas. À medida que a IA se torna cada vez mais incorporada em fluxos de trabalho de missão crítica, essa abordagem transforma a segurança de um exercício de conformidade em um diferenciador competitivo que clientes e reguladores passarão a esperar. Além disso, com a evolução constante da tecnologia, é interessante estar atento às edições especiais do iPhone em 2027, que podem trazer novas abordagens de segurança.

Gehrmann conclui que tudo começa com a conscientização de que esses problemas podem ocorrer, tomando medidas para medi-los e identificá-los e, em seguida, desenvolvendo proteções específicas para a aplicação que você está construindo.

Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.

Via VentureBeat

André Luiz

André atua como jornalista de tecnologia desde 2009 quando fundou o Tekimobile. Também trabalhou na implantação do portal Tudocelular.com no Brasil e já escreveu para outros portais como AndroidPIT e Techtudo. É formado em eletrônica e automação, trabalhando com tecnologia há 26 anos.