Uma equipe de pesquisadores da Zoom Communications desenvolveu uma técnica inovadora que promete reduzir drasticamente os custos de AI e os recursos computacionais necessários para que sistemas de inteligência artificial consigam resolver problemas complexos de raciocínio. Essa novidade pode transformar a forma como as empresas implementam a IA em larga escala. Quer saber como?
O método, chamado chain of draft (CoD), permite que modelos de linguagem grandes (LLMs) resolvam problemas com o mínimo de texto possível, utilizando apenas 7,6% do texto exigido pelos métodos atuais, mantendo ou até melhorando a precisão. As descobertas foram publicadas em um artigo na semana passada no repositório de pesquisa arXiv.
De acordo com os autores, liderados por Silei Xu, pesquisador da Zoom, ao reduzir a verbosidade e focar em insights críticos, o CoD iguala ou supera o CoT (chain-of-thought) em precisão, usando apenas 7,6% dos tokens, o que reduz significativamente o custo e a latência em diversas tarefas de raciocínio.
Como a técnica ‘menos é mais’ transforma o raciocínio da IA sem sacrificar a precisão
O CoD se inspira na forma como os humanos resolvem problemas complexos. Em vez de articular cada detalhe ao resolver um problema de matemática ou um quebra-cabeça lógico, as pessoas normalmente anotam apenas as informações essenciais de forma abreviada. Essa abordagem visa replicar esse processo para otimizar o desempenho da IA.
Os pesquisadores explicam que, ao resolver tarefas complexas, seja problemas matemáticos, redação de ensaios ou programação, frequentemente anotamos apenas as informações críticas que nos ajudam a progredir. Ao emular esse comportamento, os LLMs podem se concentrar em avançar em direção às soluções sem a sobrecarga do raciocínio verboso.
Leia também:
A equipe testou sua abordagem em diversos benchmarks, incluindo raciocínio aritmético (GSM8k), raciocínio de senso comum (compreensão de datas e esportes) e raciocínio simbólico (tarefas de lançamento de moedas). Os resultados demonstram a eficácia do CoD em diferentes cenários.
Em um exemplo notável, no qual o Claude 3.5 Sonnet processou perguntas relacionadas a esportes, a abordagem CoD reduziu a saída média de 189,4 tokens para apenas 14,3 tokens, uma redução de 92,4%, ao mesmo tempo em que melhorou a precisão de 93,2% para 97,3%. Essa melhoria na eficiência e precisão destaca o potencial do método.
Corte de custos de AI: A justificativa comercial para o raciocínio conciso da máquina
O pesquisador de IA, Ajith Vallath Prabhakar, em uma análise do artigo, escreve que, para uma empresa que processa 1 milhão de consultas de raciocínio mensalmente, o CoD poderia reduzir os custos de US$ 3.800 (CoT) para US$ 760, economizando mais de US$ 3.000 por mês. Essa economia substancial pode tornar a IA mais acessível para empresas de todos os portes.
A pesquisa surge em um momento crítico para a implantação de IA empresarial. À medida que as empresas integram cada vez mais sistemas sofisticados de IA em suas operações, os custos computacionais e os tempos de resposta surgiram como barreiras significativas para a adoção generalizada. A busca por soluções mais eficientes é fundamental para o avanço da IA.
As técnicas de raciocínio de última geração atuais, como o CoT, que foi introduzido em 2022, melhoraram drasticamente a capacidade da IA de resolver problemas complexos, dividindo-os em raciocínios passo a passo. No entanto, essa abordagem gera explicações longas que consomem recursos computacionais substanciais e aumentam a latência de resposta. Os fones de ouvido Wi-Fi são para todos, não só para celulares de ponta. Com o aumento da demanda por dispositivos sem fio, tecnologias como a CoT podem se beneficiar da otimização de recursos.
Prabhakar observa que a natureza verbosa do prompting CoT resulta em sobrecarga computacional substancial, aumento da latência e maiores despesas operacionais. A necessidade de métodos mais concisos e eficientes é evidente para superar essas limitações.
Implementando a eficiência da IA: Nenhuma retreinamento necessário para impacto imediato nos negócios
O que torna o CoD particularmente notável para as empresas é sua simplicidade de implementação. Ao contrário de muitos avanços de IA que exigem o retreinamento caro do modelo ou alterações arquitetônicas, o CoD pode ser implantado imediatamente com os modelos existentes por meio de uma simples modificação de prompt. Essa facilidade de adoção pode acelerar a integração da IA em diversos setores.
De acordo com Prabhakar, organizações que já usam o CoT podem mudar para o CoD com uma simples modificação de prompt. Essa adaptabilidade torna o CoD uma opção atraente para empresas que buscam otimizar seus sistemas de IA sem grandes investimentos.
A técnica pode ser especialmente valiosa para aplicações sensíveis à latência, como suporte ao cliente em tempo real, IA móvel, ferramentas educacionais e serviços financeiros, onde até mesmo pequenos atrasos podem afetar significativamente a experiência do usuário. Em setores como o de telecomunicações, o impacto ambiental da IA: Inovação e desafios se torna ainda mais relevante, dada a necessidade de reduzir o consumo de energia.
Especialistas do setor sugerem que as implicações vão além da economia de custos. Ao tornar o raciocínio avançado de IA mais acessível e acessível, o CoD pode democratizar o acesso a recursos sofisticados de IA para organizações menores e ambientes com restrição de recursos. O uso eficiente de recursos computacionais pode abrir portas para que mais empresas adotem a tecnologia.
À medida que os sistemas de IA continuam a evoluir, técnicas como o CoD destacam uma ênfase crescente na eficiência, juntamente com a capacidade bruta. Para as empresas que navegam no cenário de IA em rápida mudança, essas otimizações podem ser tão valiosas quanto as melhorias nos modelos subjacentes. Fabricantes de smartphones prometem sete anos de atualizações, mas a otimização de software é crucial para manter o desempenho ao longo do tempo.
Como concluiu Prabhakar, à medida que os modelos de IA continuam a evoluir, otimizar a eficiência do raciocínio será tão crítico quanto melhorar suas capacidades brutas. A busca por soluções mais eficientes e acessíveis é fundamental para o futuro da IA.
O código de pesquisa e os dados foram disponibilizados publicamente no GitHub, permitindo que as organizações implementem e testem a abordagem com seus próprios sistemas de IA. O compartilhamento de recursos e conhecimentos é essencial para o avanço da área.
Primeira: Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Segunda: Via VentureBeat
