O OctoTools, uma nova plataforma de código aberto desenvolvida por cientistas da Universidade de Stanford, promete revolucionar a forma como os modelos de linguagem grandes (LLMs) são utilizados. Através da orquestração modular de ferramentas, o OctoTools otimiza o raciocínio dos LLMs, tornando-os mais acessíveis e eficientes para desenvolvedores e empresas. Essa abordagem inovadora permite a criação de aplicações de IA mais avançadas e adaptáveis, superando os métodos tradicionais de prompting.
OctoTools: A Nova Ferramenta para Otimização de LLM
O OctoTools visa otimizar o uso de modelos de linguagem, quebrando tarefas complexas em unidades menores e complementando os modelos com ferramentas especializadas. A utilização de ferramentas já é uma prática comum em LLMs, mas o OctoTools facilita o acesso a essas capacidades, removendo barreiras técnicas e permitindo que desenvolvedores e empresas personalizem a plataforma com suas próprias ferramentas e fluxos de trabalho. Os experimentos realizados demonstram que o OctoTools supera os métodos de prompting convencionais e outras estruturas de aplicação de LLMs, indicando que é uma ferramenta promissora para aplicações práticas de modelos de IA.
Modelos de linguagem grandes (LLMs) frequentemente enfrentam dificuldades em tarefas de raciocínio que exigem múltiplas etapas, decomposição lógica ou conhecimento especializado. Uma solução eficaz é delegar etapas específicas da solução para ferramentas externas, como calculadoras, interpretadores de código, motores de busca ou ferramentas de processamento de imagem. Nesse cenário, o modelo se concentra no planejamento de alto nível, enquanto os cálculos e o raciocínio são realizados pelas ferramentas.
No entanto, a utilização de ferramentas apresenta desafios. Os LLMs clássicos frequentemente necessitam de treinamento substancial ou few-shot learning com dados selecionados para se adaptarem a novas ferramentas. Uma vez aprimorados, eles ficam limitados a domínios e tipos de ferramentas específicos. A seleção de ferramentas também continua sendo um ponto problemático, pois os LLMs podem se tornar proficientes no uso de uma ou poucas ferramentas, mas quando uma tarefa exige o uso de várias ferramentas, eles podem se confundir e ter um desempenho ruim.
Como o OctoTools Otimiza o Raciocínio de LLMs
O OctoTools soluciona esses problemas através de uma estrutura agentic que pode orquestrar múltiplas ferramentas sem a necessidade de ajustes finos nos modelos. Utilizando uma abordagem modular para tarefas de planejamento e raciocínio, o OctoTools pode empregar qualquer LLM de uso geral como base. Entre os componentes essenciais do OctoTools estão os “tool cards” (cartões de ferramenta), que funcionam como wrappers para as ferramentas que o sistema pode utilizar, como interpretadores de código Python e APIs de busca na web.
Leia também:
Os tool cards incluem metadados como formatos de entrada e saída, limitações e melhores práticas para cada ferramenta. Os desenvolvedores podem adicionar seus próprios tool cards à estrutura para adequá-la às suas aplicações. Quando um novo prompt é inserido no OctoTools, um módulo “planner” (planejador) utiliza o LLM base para gerar um plano de alto nível que resume o objetivo, analisa as habilidades necessárias, identifica as ferramentas relevantes e inclui considerações adicionais para a tarefa.
O planejador define um conjunto de sub-objetivos que o sistema precisa alcançar para concluir a tarefa e os descreve em um plano de ação baseado em texto. Para cada etapa do plano, um módulo “action predictor” (preditor de ação) refina o sub-objetivo para especificar a ferramenta necessária para alcançá-lo e garantir que seja executável e verificável. Uma vez que o plano está pronto para ser executado, um “command generator” (gerador de comando) mapeia o plano baseado em texto para o código Python que invoca as ferramentas especificadas para cada sub-objetivo.
Em seguida, passa o comando para o “command executor” (executor de comando), que executa o comando em um ambiente Python. Os resultados de cada etapa são validados por um módulo “context verifier” (verificador de contexto) e o resultado final é consolidado por um “solution summarizer” (sumarizador de solução). De acordo com os pesquisadores, ao separar o planejamento estratégico da geração de comandos, o OctoTools reduz erros e aumenta a transparência, tornando o sistema mais confiável e fácil de manter.
O OctoTools também emprega um algoritmo de otimização para selecionar o melhor subconjunto de ferramentas para cada tarefa, evitando sobrecarregar o modelo com ferramentas irrelevantes. Existem várias estruturas para criar aplicações LLM e sistemas agentic, incluindo o Microsoft AutoGen, LangChain e a API OpenAI “function calling“.
OctoTools vs. Outras Plataformas
De acordo com os desenvolvedores, o OctoTools supera essas plataformas em tarefas que exigem raciocínio e uso de ferramentas. Os pesquisadores testaram todas as estruturas em vários benchmarks para raciocínio visual, matemático e científico, bem como conhecimento médico e tarefas agentic. O OctoTools alcançou um ganho médio de precisão de 10,6% em relação ao AutoGen, 7,5% em relação ao GPT-Functions e 7,3% em relação ao LangChain ao usar as mesmas ferramentas.
A razão para o melhor desempenho do OctoTools é sua superior distribuição de uso de ferramentas e a correta decomposição da consulta em sub-objetivos. Ao possibilitar a otimização de LLM, o OctoTools oferece às empresas uma solução prática para utilizar LLMs em tarefas complexas. Sua integração de ferramentas extensível ajudará a superar as barreiras existentes para a criação de aplicações avançadas de raciocínio de IA. Os pesquisadores disponibilizaram o código do OctoTools no GitHub.
Se você está buscando formas de como as empresas podem usar IA para reforçar a proteção de dados, o OctoTools pode ser uma ferramenta valiosa. Além disso, fique por dentro das novidades sobre o lançamento de Tony Hawk’s Pro Skater 3+4 que também está confirmado.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via VentureBeat
