Salesforce busca soluções para inconsistências da IA em negócios

A Salesforce AI confiável está focada em resolver um dos maiores desafios da inteligência artificial para aplicações de negócios: a diferença entre a capacidade bruta de um sistema de IA e sua habilidade de atuar de forma consistente em ambientes empresariais imprevisíveis. A empresa chama essa inconsistência de “jagged intelligence“. Para enfrentar esse problema, a Salesforce AI Research revelou novos benchmarks, modelos e estruturas.

O objetivo é criar agentes de IA mais inteligentes, confiáveis e versáteis para uso empresarial. As inovações visam aprimorar tanto as capacidades quanto a consistência dos sistemas de IA, especialmente quando implementados como agentes autônomos em cenários de negócios complexos.

Silvio Savarese, Cientista Chefe e Head de AI Research da Salesforce, explicou que, embora os LLMs (Large Language Models) se destaquem em testes padronizados e na geração de poesia sofisticada, eles frequentemente falham na execução de tarefas confiáveis e consistentes em ambientes empresariais dinâmicos e imprevisíveis.

Essa iniciativa representa o avanço da Salesforce em direção à “Enterprise General Intelligence” (EGI). A EGI é uma IA projetada especificamente para a complexidade dos negócios, em vez da busca teórica pela Artificial General Intelligence (AGI). Savarese define EGI como agentes de IA construídos para negócios, otimizados não apenas para capacidade, mas também para consistência.

Medindo e Resolvendo a Inconsistência da IA com a Salesforce AI confiável

Um ponto central da pesquisa é quantificar e resolver a inconsistência de desempenho da IA. A Salesforce introduziu o SIMPLE dataset, um benchmark público com 225 questões de raciocínio direto. O objetivo é medir o quão irregulares são as capacidades de um sistema de IA.

Shelby Heinecke, Senior Manager of Research da Salesforce, explicou que a IA atual é irregular e precisa ser aprimorada. Para isso, é necessário medi-la primeiro, e é exatamente isso que o SIMPLE benchmark faz.

Para as aplicações empresariais, essa inconsistência não é apenas uma preocupação acadêmica. Um único passo em falso de um agente de IA pode interromper operações, prejudicar a confiança do cliente ou causar danos financeiros significativos. Savarese enfatizou que, para as empresas, a IA não é um passatempo, mas sim uma ferramenta essencial que exige previsibilidade inabalável.

Reconhecendo as dificuldades dos modelos de IA em ambientes empresariais complexos, a Salesforce criou o CRMArena. Essa nova estrutura de benchmarking simula cenários realistas de gestão de relacionamento com o cliente (CRM). O objetivo é testar agentes de IA em contextos profissionais, preenchendo a lacuna entre os benchmarks acadêmicos e as necessidades empresariais.

O CRMArena avalia o desempenho do agente em três personas principais: agentes de serviço, analistas e gerentes. Os primeiros testes revelaram que, mesmo com prompting guiado, os agentes líderes têm sucesso em menos de 65% das vezes em funções para os casos de uso dessas personas.

Savarese explicou que o CRMArena é uma ferramenta interna para aprimorar agentes. Ele permite testar esses agentes sob pressão, entender quando eles falham e usar essas lições aprendidas para melhorá-los.

Novos Modelos de Embedding e a Segurança da IA Empresarial

Entre as inovações técnicas anunciadas, a Salesforce destacou o SFR-Embedding, um novo modelo para uma compreensão contextual mais profunda. Esse modelo lidera o Massive Text Embedding Benchmark (MTEB) em 56 datasets. Heinecke observou que o SFR-Embedding não é apenas pesquisa, ele estará disponível no Data Cloud em breve.

Uma versão especializada, o SFR-Embedding-Code, também foi apresentada para desenvolvedores, permitindo busca de código de alta qualidade e otimização do desenvolvimento. Segundo a Salesforce, a versão de 7B parâmetros lidera o Code Information Retrieval (CoIR) benchmark. Modelos menores (400M, 2B) oferecem alternativas eficientes e econômicas.

A Salesforce também anunciou o xLAM V2 (Large Action Model), uma família de modelos projetados para prever ações em vez de apenas gerar texto. Esses modelos começam com apenas 1 bilhão de parâmetros, uma fração do tamanho de muitos modelos de linguagem líderes. Heinecke destacou que o modelo de 1B é uma fração do tamanho de muitos large language models atuais, mas oferece grande poder na capacidade de tomar a próxima ação.

Diferentemente dos modelos de linguagem padrão, esses modelos de ação são treinados para prever e executar as próximas etapas em uma sequência de tarefas. Isso os torna valiosos para agentes autônomos que precisam interagir com sistemas empresariais. Heinecke acrescentou que os large action models são LLMs por baixo dos panos, e são construídos ajustando um LLM em trajetórias de ação.

Para lidar com as preocupações empresariais sobre segurança e confiabilidade da IA, a Salesforce apresentou o SFR-Guard, uma família de modelos treinados em dados disponíveis publicamente e dados internos especializados em CRM. Esses modelos fortalecem a Trust Layer da empresa, que fornece proteção para o comportamento do agente de IA.

A empresa lançou também o ContextualJudgeBench, um novo benchmark para avaliar modelos de juízes baseados em LLM em contexto. Ele testa mais de 2.000 pares de respostas desafiadoras para precisão, concisão, fidelidade e recusa apropriada em responder.

Olhando além do texto, a Salesforce revelou o TACO, uma família de modelos de ação multimodal projetada para resolver problemas complexos de múltiplas etapas por meio de cadeias de pensamento e ação (CoTA). Essa abordagem permite que a IA interprete e responda a consultas complexas envolvendo vários tipos de mídia, com a Salesforce alegando uma melhoria de até 20% no desafiador MMVet benchmark.

Itai Asseo, Senior Director of Incubation and Brand Strategy da AI Research, enfatizou a importância da co-inovação com o cliente no desenvolvimento de soluções de IA prontas para empresas. Ele explicou que um dos principais problemas relatados pelos clientes é a baixa tolerância a respostas imprecisas ou irrelevantes ao lidar com dados empresariais.

Asseo citou exemplos de incubação de clientes que resultaram em melhorias significativas no desempenho da IA. Ele mencionou que, ao aplicar o mecanismo de raciocínio Atlas, juntamente com técnicas avançadas para geração aumentada de recuperação e uma metodologia e arquitetura de loop de raciocínio e agente, a precisão foi duas vezes maior do que os clientes conseguiam com outros concorrentes importantes.

O Futuro da Inteligência Artificial na Salesforce

O investimento da Salesforce em pesquisa ocorre em um momento crucial na adoção da IA empresarial, com as empresas buscando sistemas de IA que combinem recursos avançados com desempenho confiável. Enquanto a indústria de tecnologia busca modelos cada vez maiores com capacidades brutas impressionantes, o foco da Salesforce na lacuna de consistência destaca uma abordagem mais refinada para o desenvolvimento de IA, priorizando os requisitos de negócios do mundo real em vez de benchmarks acadêmicos.

As tecnologias anunciadas começarão a ser lançadas nos próximos meses, com o SFR-Embedding chegando primeiro ao Data Cloud, enquanto outras inovações alimentarão versões futuras do Agentforce. Savarese observou que não se trata de substituir humanos, mas sim de estar no comando. Na corrida pelo domínio da IA empresarial, a Salesforce aposta que a consistência e a confiabilidade, e não apenas a inteligência bruta, definirão os vencedores da revolução da IA nos negócios.

Se você se interessa pelo tema, aproveite para conferir outras notícias sobre inteligência artificial e como ela está transformando diversos setores. Para se manter atualizado, você pode se inscrever em newsletters especializadas, como esta da VentureBeat. E se quiser saber mais sobre segurança digital, confira este artigo sobre como proteger seus dados contra ciberataques.

Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.

Via VentureBeat