Avaliação de infraestrutura para agentes de IA: garantia de confiabilidade

À medida que agentes de inteligência artificial (IA) chegam ao mundo real, empresas precisam definir seu lugar, como criá-los e colocá-los para funcionar em larga escala. No evento Transform 2025 da VentureBeat, líderes de tecnologia se reuniram. Eles conversaram sobre como estão transformando seus negócios com esses agentes.

Usos Iniciais para Agentes de IA

A princípio, a grande sacada dos agentes de IA é economizar tempo e esforço humano. Para Shailesh Nalawadi, da Sendbird, a matemática é bem clara. Contudo, essa visão não mostra todo o poder transformador que os agentes de IA podem oferecer.

Na Rocket Companies, os agentes de IA têm sido ferramentas eficazes para aumentar as conversões no site. Shawn Malhotra, diretor de tecnologia da empresa, contou que a experiência conversacional com agentes faz com que os clientes convertam três vezes mais.

E isso é só o começo. Um engenheiro da Rocket desenvolveu um agente em apenas dois dias para uma tarefa específica. Esse agente automatiza o cálculo de impostos de transferência em financiamentos imobiliários.

Esse pequeno esforço gerou uma economia de um milhão de dólares por ano. Em 2024, a Rocket economizou mais de um milhão de horas de trabalho da equipe. Isso ocorreu principalmente com o uso de soluções de inteligência artificial.

Essa economia de tempo não é só sobre cortar despesas. Permite que os funcionários da Rocket se concentrem no cliente. Eles podem dedicar mais atenção a uma das maiores transações financeiras na vida das pessoas.

Os agentes potencializam cada membro da equipe. Não é que o trabalho inteiro de alguém foi substituído, mas sim partes da rotina que não eram agradáveis ou que não adicionavam valor direto ao cliente. Assim, a Rocket ganha mais capacidade para lidar com mais negócios.

Alguns membros da equipe na Rocket puderam atender até 50% mais clientes no ano passado, explicou Malhotra. Isso significa maior produtividade e mais negócios. As taxas de conversão aumentam porque eles dedicam tempo às necessidades do cliente, e não a tarefas repetitivas que a IA já faz.

Lidando com a Complexidade dos Agentes

Para as equipes de engenharia, a mudança é grande. Elas saem da lógica de engenharia de software, onde um código funciona sempre igual, para uma abordagem mais probabilística. Com um modelo de linguagem grande (LLM), a mesma pergunta pode ter respostas diferentes.

Shailesh Nalawadi destacou que parte do desafio foi adaptar a mentalidade de todos. Isso inclui não apenas os engenheiros de software, mas também os gerentes de produto e os designers de experiência do usuário (UX).

Thys Waanders, da Cognigy, observou que os LLMs melhoraram bastante. Há dois anos, era preciso escolher um modelo com muito cuidado para garantir o desempenho. Hoje, a maioria dos modelos principais funciona bem e é mais previsível.

O desafio atual é combinar esses modelos, garantir respostas rápidas e orquestrar a sequência certa de modelos com os dados certos. Empresas precisam gerenciar milhões de conversas por ano.

Automatizar dezenas de milhões de conversas anuais em um mundo de LLMs traz desafios novos. Waanders mencionou que foi preciso aprender coisas simples, como a disponibilidade dos modelos com provedores de nuvem. Conseguir cotas suficientes para modelos como o ChatGPT foi uma dessas descobertas. Ele ressaltou que é um cenário completamente novo.

Acima da orquestração dos LLMs, está a orquestração de uma rede de agentes, explicou Shawn Malhotra. Uma experiência conversacional, por exemplo, tem várias agentes trabalhando por trás, e um orquestrador decide qual agente deve processar a solicitação. A importância da observabilidade para sistemas de IA autônomos é fundamental nesse cenário.

Malhotra acrescentou que isso leva a problemas técnicos interessantes. Se houver centenas ou milhares de agentes com diferentes capacidades, o roteamento de agentes se torna um desafio complexo. A latência e o tempo são cruciais, tornando o roteamento um problema importante para os próximos anos.

Infraestrutura de avaliação para IA: Preparação

Até agora, muitas empresas que começaram a usar IA com agentes os desenvolveram internamente. Isso aconteceu porque não havia ferramentas especializadas disponíveis. No entanto, é difícil se diferenciar construindo uma infraestrutura genérica de IA ou LLM. Para ir além da fase inicial, depurar, iterar e manter essa infraestrutura, é preciso um conhecimento especializado.

Shailesh Nalawadi, da Sendbird, notou que as conversas mais bem-sucedidas com clientes potenciais vêm de quem já tentou construir algo internamente. Essas empresas rapidamente percebem que criar a versão 1.0 é um bom começo. Mas, à medida que a tecnologia evolui e novas soluções aparecem, elas não conseguem orquestrar tudo sozinhas.

Teoricamente, a complexidade da IA com agentes só vai crescer. O número de agentes em uma organização deve aumentar, e eles começarão a aprender uns com os outros. Os casos de uso devem se multiplicar. É essencial entender como as organizações podem se preparar para esse desafio.

Isso significa que os mecanismos de controle no sistema serão mais exigidos, disse Malhotra. Para processos regulatórios, por exemplo, é comum ter um humano validando. Para processos internos críticos ou acesso a dados, é preciso ter observabilidade e alertas para detectar problemas rapidamente.

Ele enfatiza que é preciso investir na detecção e entender onde a intervenção humana é necessária. A confiança nos processos deve ser alta para que erros sejam identificados. Mas, por causa do poder que a IA libera, é fundamental fazer essa preparação.

Então, como garantir que um agente de IA se comporte de forma confiável à medida que evolui? Shailesh Nalawadi explicou que se não for pensado desde o começo, essa parte é muito difícil. Ele sugere que, antes mesmo de começar a construir, uma infraestrutura de avaliação para IA precisa estar pronta.

Garanta um ambiente rigoroso onde se sabe o que um agente de IA deve fazer corretamente. Tenha um conjunto de testes e use-o para verificar o agente a cada melhoria. Nalawadi compara isso aos testes de unidade para um sistema de agentes.

Thys Waanders adicionou que o problema é a natureza não determinística. Testes de unidade são importantes, mas o maior desafio é não saber o que não se sabe. É difícil prever todos os comportamentos incorretos que um agente pode apresentar ou como ele reagirá em qualquer situação. A importância da avaliação na confiança de agentes de IA não pode ser subestimada.

A única forma de descobrir isso é simulando conversas em larga escala. É preciso testar o agente em milhares de cenários diferentes e, então, analisar seu desempenho e reações. Isso ajuda a identificar e corrigir comportamentos inesperados, garantindo maior confiabilidade em sistemas autônomos.

Os desafios relacionados à complexidade dos modelos de IA e à necessidade de novas abordagens para o desenvolvimento de software continuam a impulsionar o mercado. A evolução das soluções de IA requer que as empresas se mantenham atualizadas com as últimas tendências e tecnologias.

Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.