▲
- A Bloomberg publicou um estudo mostrando como o uso de RAG pode tornar LLMs menos seguros.
- Se você utiliza IA em seus negócios, a pesquisa sugere cautela ao implementar o RAG.
- O aumento de respostas inseguras em LLMs pode afetar a confiabilidade na geração de conteúdo.
- Adotar seguranças adicionais ao usar RAG pode ajudar a evitar esses riscos.
As empresas estão cada vez mais usando a Inteligência Artificial (IA) para melhorar seus negócios. Uma das técnicas mais populares é a Geração Aumentada de Recuperação (RAG), que promete aumentar a precisão do conteúdo. No entanto, uma nova pesquisa da Bloomberg revela que o RAG e segurança de LLMs podem ter um efeito colateral inesperado, tornando os modelos de linguagem (LLMs) menos seguros.
Essa descoberta desafia a ideia de que o RAG sempre torna os sistemas de IA mais seguros, mostrando que é preciso ter cuidado ao implementar essa tecnologia.
Descobertas da Pesquisa da Bloomberg sobre RAG e segurança de LLMs
A Bloomberg publicou um estudo chamado “RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models” (RAG LLMs Não São Mais Seguros: Uma Análise de Segurança da Geração Aumentada de Recuperação para Modelos de Linguagem Amplos). A pesquisa avaliou 11 LLMs populares, incluindo Claude-3.5-Sonnet, Llama-3-8B e GPT-4o. Os resultados mostraram que, ao usar o RAG, modelos que normalmente rejeitam consultas prejudiciais em configurações padrão, muitas vezes produzem respostas inseguras.
Além disso, a Bloomberg divulgou outro estudo, “Understanding and Mitigating Risks of Generative AI in Financial Services” (Entendendo e Mitigando Riscos da IA Generativa em Serviços Financeiros). Este estudo apresenta uma taxonomia de risco de conteúdo de IA especializada para serviços financeiros, abordando preocupações específicas do setor que não são cobertas por abordagens de segurança de uso geral.
Sebastian Gehrmann, chefe de IA Responsável da Bloomberg, explicou que os sistemas precisam ser avaliados no contexto em que são implementados. Não se pode confiar apenas na palavra de outros de que um modelo é seguro.
Leia também:
Como os sistemas RAG podem comprometer a segurança de LLMs
O RAG é amplamente utilizado para fornecer conteúdo fundamentado e informações precisas e atualizadas. Recentemente, houve muitos avanços para melhorar ainda mais a precisão do RAG. Um exemplo é o Open RAG Eval, uma estrutura de código aberto que ajuda a validar a eficiência do RAG.
A pesquisa da Bloomberg não questiona a eficácia do RAG em reduzir alucinações, mas sim como o uso do RAG afeta as proteções dos LLMs. A equipe de pesquisa descobriu que, ao usar o RAG, modelos que normalmente recusam consultas prejudiciais em configurações padrão, frequentemente produzem respostas inseguras. Por exemplo, as respostas inseguras do Llama-3-8B aumentaram de 0,3% para 9,2% com a implementação do RAG.
Gehrmann explicou que, sem o RAG, o sistema de segurança bloquearia uma consulta maliciosa. No entanto, quando a mesma consulta é feita em um LLM que usa RAG, o sistema responde à consulta maliciosa, mesmo que os documentos recuperados sejam seguros.
Ele ainda explicou: “Descobrimos que, se você usar um modelo de linguagem amplo, muitas vezes eles têm proteções embutidas onde, se você perguntar ‘Como faço essa coisa ilegal?’, ele dirá ‘Desculpe, não posso te ajudar a fazer isso’. Descobrimos que, se você realmente aplicar isso em uma configuração RAG, uma coisa que poderia acontecer é que o contexto adicional recuperado, mesmo que não contenha nenhuma informação que responda à consulta maliciosa original, ainda pode responder a essa consulta original.”
Entendendo a vulnerabilidade do RAG e segurança de LLMs
Os pesquisadores da Bloomberg não têm certeza de como o RAG burla as proteções de segurança, mas eles têm algumas teorias. Uma hipótese é que os LLMs não foram totalmente treinados com alinhamentos de segurança para entradas muito longas. A pesquisa mostrou que o comprimento do contexto afeta diretamente a degradação da segurança. Quanto mais documentos são fornecidos, mais vulneráveis os LLMs se tornam.
Amanda Stent, chefe de Estratégia e Pesquisa de IA da Bloomberg, enfatizou que esse risco é inerente aos sistemas RAG. A solução seria adicionar lógica de negócios, verificações de fatos ou proteções em torno do sistema RAG.
Limitações das taxonomias de segurança de IA genéricas em serviços financeiros
O segundo estudo da Bloomberg introduz uma taxonomia de risco de conteúdo de IA especializada para serviços financeiros. Essa taxonomia aborda preocupações específicas do setor, como má conduta financeira, divulgação confidencial e narrativas factuais. Os pesquisadores demonstraram que os sistemas de proteção existentes não conseguem identificar esses riscos especializados. Eles testaram modelos de proteção de código aberto, incluindo Llama Guard, Llama Guard 3, AEGIS e ShieldGemma, com dados coletados durante exercícios de red-teaming.
Gehrmann explicou que esses sistemas de proteção de código aberto não encontraram problemas específicos do setor financeiro. Os modelos de proteção de uso geral são desenvolvidos para riscos específicos do consumidor, como toxicidade e viés, que não são necessariamente exclusivos de um setor ou domínio. A principal conclusão é que as organizações precisam ter uma taxonomia específica para seu próprio setor e casos de uso de aplicação.
A visão da Bloomberg sobre IA Responsável
A Bloomberg é conhecida por fornecer sistemas de dados financeiros confiáveis. Sistemas de IA generativa e RAG poderiam ser vistos como concorrentes do negócio tradicional da Bloomberg, levantando preocupações sobre possíveis vieses na pesquisa.
Stent garantiu que a Bloomberg está no negócio de fornecer aos clientes os melhores dados e análises, com a capacidade mais ampla de descobrir, analisar e sintetizar informações. Para a empresa, a IA generativa é uma ferramenta que pode ajudar na descoberta, análise e síntese de dados, sendo um benefício.
Ela também destacou o compromisso da empresa com a transparência. Tudo o que o sistema produz pode ser rastreado até o documento e o local específico dentro do documento de onde veio. A Bloomberg está preocupada com questões como desvio de dados e modelos, garantindo uma boa representação em todo o conjunto de dados e títulos que processa.
Implicações práticas para a implementação de IA empresarial
Para as empresas que buscam liderar o caminho na IA, a pesquisa da Bloomberg significa que as implementações de RAG exigem uma reavaliação fundamental da arquitetura de segurança. É preciso ir além de ver as proteções e o RAG como componentes separados e, em vez disso, projetar sistemas de segurança integrados que prevejam como o conteúdo recuperado pode interagir com as proteções do modelo.
As organizações precisam desenvolver taxonomias de risco específicas para seus ambientes regulatórios, passando de estruturas de segurança de IA genéricas para aquelas que abordam preocupações de negócios específicas. À medida que a IA se torna cada vez mais incorporada em fluxos de trabalho críticos, essa abordagem transforma a segurança de um exercício de conformidade em um diferenciador competitivo que clientes e reguladores esperam.
Gehrmann aconselha que é preciso estar ciente de que esses problemas podem ocorrer, tomar medidas para medi-los e identificá-los, e então desenvolver proteções específicas para a aplicação que está sendo construída.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via VentureBeat
