▲
- Uma pesquisa da Bloomberg questiona se o RAG realmente torna os LLMs mais seguros.
- Você deve estar ciente de que o uso do RAG pode reduzir a segurança dos sistemas de IA.
- A pesquisa revela que os modelos de IA podem fornecer respostas inseguras quando utilizam RAG.
- Diversas recomendações foram feitas para mitigar os riscos associados à implementação do RAG.
Será que o RAG para LLMs (Retrieval Augmented Generation) realmente torna os modelos de linguagem grandes (LLMs) menos seguros? Uma nova pesquisa da Bloomberg revela que, embora o RAG possa ajudar a melhorar a precisão da IA, ele também pode trazer efeitos colaterais inesperados, comprometendo a segurança desses sistemas. Essa descoberta desafia a crença comum de que o RAG sempre torna a IA mais segura.
RAG para LLMs: A Segurança em Cheque
A pesquisa da Bloomberg, intitulada “RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models“, avaliou 11 LLMs populares, incluindo Claude-3.5-Sonnet, Llama-3-8B e GPT-4o. Os resultados mostraram que, ao usar RAG, modelos que normalmente rejeitam consultas prejudiciais em configurações padrão, muitas vezes, produzem respostas inseguras. Além disso, a Bloomberg lançou um segundo estudo, “Understanding and Mitigating Risks of Generative AI in Financial Services“, que apresenta uma taxonomia de risco de conteúdo de IA especializada para serviços financeiros.
Sebastian Gehrmann, chefe de IA Responsável da Bloomberg, destacou a importância de avaliar os sistemas no contexto em que são implementados, alertando que a segurança de um modelo não deve ser presumida com base em informações de terceiros. Amanda Stent, chefe de Estratégia e Pesquisa de IA da Bloomberg, complementou, afirmando que os riscos são inerentes aos sistemas RAG e que a solução está em implementar lógica de negócios, verificações de fatos e guardrails em torno do sistema RAG central.
O RAG é amplamente utilizado para fornecer conteúdo fundamentado e preciso, mas a pesquisa da Bloomberg mostra que essa abordagem pode impactar negativamente os guardrails dos LLMs. Por exemplo, o estudo revelou que as respostas inseguras do Llama-3-8B saltaram de 0,3% para 9,2% com a implementação do RAG. Gehrmann explicou que, sem o RAG, o sistema de segurança bloquearia consultas maliciosas, mas com o RAG, o sistema responde a essas consultas mesmo que os documentos recuperados sejam seguros.
Como o RAG Contorna os Guardrails da IA?
Os pesquisadores da Bloomberg ainda não têm certeza de como o RAG burla os guardrails, mas levantam algumas hipóteses. Uma delas é que os LLMs não foram totalmente treinados para garantir a segurança com entradas muito longas. O estudo mostrou que o comprimento do contexto impacta a degradação da segurança, tornando os LLMs mais vulneráveis com mais documentos. Mesmo a introdução de um único documento seguro pode alterar o comportamento de segurança.
Leia também:
Stent enfatizou que não há como escapar desse risco inerente aos sistemas RAG, a menos que se implemente lógica de negócios e verificações de fatos. Gehrmann recomendou que as empresas estejam cientes desses problemas, meçam e identifiquem as falhas e desenvolvam salvaguardas específicas para cada aplicação.
A Bloomberg também desenvolveu uma taxonomia de risco de conteúdo de IA especializada para serviços financeiros, que aborda preocupações específicas como má conduta financeira, divulgação confidencial e narrativas contrafactuais. Os modelos de guardrail de código aberto existentes, como Llama Guard, Llama Guard 3, AEGIS e ShieldGemma, falharam em detectar esses riscos especializados durante os testes.
A Importância da Taxonomia de Segurança de IA Específica
Gehrmann explicou que os modelos de guardrail de propósito geral são focados em toxicidade e viés, mas não abordam os riscos específicos de cada setor. A principal conclusão é que as organizações precisam de uma taxonomia específica para seu setor e casos de uso.
A Bloomberg, conhecida por seus sistemas de dados financeiros, poderia ser vista como concorrente dos sistemas de IA generativa e RAG. No entanto, Stent afirmou que a IA generativa é uma ferramenta que pode ajudar na descoberta, análise e síntese de informações, beneficiando seus clientes. A empresa está comprometida com a transparência, permitindo que os usuários rastreiem a origem de cada saída do sistema até o documento original.
Para empresas que buscam liderar em IA, a pesquisa da Bloomberg significa que as implementações de RAG exigem uma arquitetura de segurança repensada. Os líderes devem integrar os guardrails e o RAG em sistemas de segurança unificados, antecipando como o conteúdo recuperado pode interagir com as salvaguardas do modelo. Além disso, devem desenvolver taxonomias de risco específicas para seus ambientes regulatórios e preocupações de negócios.
Para empresas que buscam liderar em IA, a pesquisa da Bloomberg significa que as implementações de RAG para LLMs exigem uma arquitetura de segurança repensada. Os líderes devem integrar os guardrails e o RAG em sistemas de segurança unificados, antecipando como o conteúdo recuperado pode interagir com as salvaguardas do modelo. Além disso, devem desenvolver taxonomias de risco específicas para seus ambientes regulatórios e preocupações de negócios.
Gehrmann resume que o primeiro passo é estar ciente dos possíveis problemas, medi-los, identificá-los e, em seguida, desenvolver salvaguardas específicas para a aplicação que está sendo construída.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via VentureBeat
