Modelos de linguagem grandes (LLMs) têm demonstrado avanços notáveis em suas capacidades de raciocínio. No entanto, sua habilidade de referenciar e utilizar dados externos – informações com as quais não foram treinados – em conjunto com o raciocínio, tem ficado para trás. Isso se torna um problema ao usar LLMs em cenários dinâmicos e intensivos em informação que demandam dados atualizados de Integração de search engines.
Mas uma melhoria chegou: SEARCH-R1, uma técnica apresentada em um artigo por pesquisadores da Universidade de Illinois em Urbana-Champaign e da Universidade de Massachusetts Amherst, treina LLMs para gerar consultas de busca e integrar a recuperação do search engine em seu raciocínio.
Com empresas buscando formas de integrar esses novos modelos em suas aplicações, técnicas como SEARCH-R1 prometem desbloquear novas capacidades de raciocínio que dependem de fontes de dados externas.
O Desafio da Integração de Search Engines com LLMs
Os search engines são cruciais para fornecer às aplicações LLM conhecimento externo e atualizado. Os dois principais métodos para Integração de search engines com LLMs são Retrieval-Augmented Generation (RAG) e o uso de ferramentas, implementados através de prompt engineering ou model fine-tuning.
No entanto, ambos os métodos têm limitações que os tornam inadequados para modelos de raciocínio. RAG frequentemente enfrenta imprecisões na recuperação e carece da capacidade de realizar recuperação multi-turn e multi-query, o que é essencial para tarefas de raciocínio.
Leia também:
O uso de ferramentas baseado em prompting frequentemente tem dificuldades com a generalização, enquanto abordagens baseadas em treinamento exigem conjuntos de dados extensos e anotados de interações de busca e raciocínio, que são difíceis de produzir em escala. Em nossos próprios experimentos com modelos de raciocínio, descobrimos que a recuperação de informação permanece um dos principais desafios.
SEARCH-R1: Uma Abordagem Inovadora
SEARCH-R1 permite que os LLMs interajam com os search engines durante seu processo de raciocínio, em vez de ter um estágio de recuperação separado.
O SEARCH-R1 define o search engine como parte do ambiente do LLM, permitindo que o modelo integre sua geração de tokens com os resultados do search engine de forma integrada.
Os pesquisadores projetaram o SEARCH-R1 para suportar raciocínio e busca iterativos. O modelo é treinado para gerar conjuntos separados de tokens para segmentos de pensamento, busca, informação e resposta. Isso significa que, durante seu processo de raciocínio (marcado por tags ), se o modelo determinar que precisa de informação externa, ele gera uma sequência que contém a consulta de busca. A consulta é então passada para um search engine e os resultados são inseridos na janela de contexto em um segmento . O modelo então continua a raciocinar com o contexto adicionado e, quando estiver pronto, gera os resultados em um segmento .
Essa estrutura permite que o modelo invoque o search engine várias vezes enquanto raciocina sobre o problema e obtém novas informações. A capacidade de usar ferramentas baseadas em prompting frequentemente tem dificuldades com a generalização, enquanto abordagens baseadas em treinamento exigem conjuntos de dados extensos e anotados de interações de busca e raciocínio, que são difíceis de produzir em escala.
Treinar LLMs para intercalar consultas de busca com sua cadeia de raciocínio é desafiador. Para simplificar o processo, os pesquisadores projetaram o SEARCH-R1 para treinar o modelo através de puro aprendizado por reforço (RL), onde o modelo é deixado para explorar o uso de ferramentas de raciocínio e busca sem orientação de dados gerados por humanos.
Reforço de Aprendizagem
O SEARCH-R1 usa um “modelo de recompensa baseado em resultado”, no qual o modelo é avaliado apenas com base na correção da resposta final. Isso elimina a necessidade de criar modelos de recompensa complexos que verificam o processo de raciocínio do modelo.
Essa é a mesma abordagem usada em DeepSeek-R1-Zero, onde o modelo recebeu uma tarefa e foi julgado apenas com base no resultado. O uso de puro RL dispensa a necessidade de criar grandes conjuntos de dados de exemplos anotados manualmente (supervised fine-tuning). Técnicas como essa podem ser muito úteis para inteligência artificial generativa auxilia gestores no papel de ‘co-pensadores’.
“SEARCH-R1 pode ser visto como uma extensão do DeepSeek-R1, que se concentra principalmente no raciocínio paramétrico, introduzindo treinamento RL aumentado por busca para tomada de decisão aprimorada impulsionada pela recuperação”, escrevem os pesquisadores em seu artigo.
SEARCH-R1 em Ação
Os pesquisadores testaram o SEARCH-R1 ajustando as versões base e instruct de Qwen-2.5 e Llama-3.2 e avaliando-os em sete benchmarks que abrangem uma gama diversificada de tarefas de raciocínio que exigem busca de single-turn e multi-hop. Eles compararam o SEARCH-R1 com diferentes linhas de base: inferência direta com raciocínio Chain-of-Thought (CoT), inferência com RAG e supervised fine-tuning para uso de ferramentas.
O SEARCH-R1 consistentemente supera os métodos de linha de base por uma margem razoável. Ele também supera os modelos de raciocínio treinados em RL, mas sem recuperação de busca. “Isso se alinha às expectativas, pois incorporar a busca no raciocínio do LLM fornece acesso a conhecimento externo relevante, melhorando o desempenho geral”, escrevem os pesquisadores.
O SEARCH-R1 também é eficaz para diferentes famílias de modelos e variantes base e ajustadas por instrução, sugerindo que o RL com recompensas baseadas em resultados pode ser útil além de cenários de raciocínio puro. Os pesquisadores lançaram o código para SEARCH-R1 no GitHub.
A capacidade do SEARCH-R1 de gerar autonomamente consultas de busca e integrar informações em tempo real no raciocínio pode ter implicações significativas para aplicações empresariais. Ele pode aumentar a precisão e a confiabilidade de sistemas orientados por LLM em áreas como suporte ao cliente, gestão do conhecimento e análise de dados. Ao permitir que os LLMs se adaptem dinamicamente às informações em mudança, o SEARCH-R1 pode ajudar as empresas a construir soluções de IA mais inteligentes e responsivas. Essa capacidade pode ser muito útil para aplicações que exigem acesso a dados em constante mudança e que exigem várias etapas para encontrar uma resposta.
Ele também sugere que ainda não exploramos todo o potencial do novo paradigma de aprendizado por reforço que surgiu desde o lançamento do DeepSeek-R1.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via VentureBeat
