Como saber se seu produto de IA está realmente funcionando?

Como saber se o seu produto de Inteligência Artificial (IA) está realmente funcionando? Essa foi a pergunta que iniciou debates apaixonados entre equipes e líderes, como Sharanya Rao da Intuit vivenciou. A chave para o sucesso está em definir as métricas para produtos de IA certas, que capturem o impacto do produto, especialmente em um cenário complexo com clientes internos e externos.

Ignorar se o seu produto está funcionando é como pilotar um avião sem comunicação com a torre de controle. É impossível tomar decisões assertivas sem saber o que está dando certo ou errado. Além disso, a falta de definição de métricas pode levar a interpretações diferentes de “qualidade” ou “precisão”, prejudicando o alinhamento da equipe.

Identificando os Objetivos do seu Produto de IA

O primeiro passo é definir o que você quer saber sobre o impacto do seu produto de IA nos clientes. A complexidade de um produto de machine learning (ML) com múltiplos clientes exige métricas específicas para o modelo. Medir o resultado das equipes internas ou a adoção de soluções recomendadas pelo modelo pode ser demorado ou gerar conclusões imprecisas.

Com o avanço dos modelos de linguagem grandes (LLMs), que geram texto, imagens e música, a necessidade de métricas aumenta rapidamente. É preciso considerar formatos, clientes e tipos de saída. Para simplificar, transforme o impacto do produto em algumas perguntas-chave:

1. O cliente recebeu uma resposta? → Métrica de cobertura.
2. Quanto tempo o produto levou para responder? → Métrica de latência.
3. O usuário gostou da resposta? → Métricas de feedback, adoção e retenção.

Após definir as perguntas, o próximo passo é dividi-las em subperguntas para sinais de “entrada” e “saída”. As métricas de saída são indicadores que medem eventos já ocorridos. Já as métricas de entrada são indicadores que ajudam a identificar tendências e prever resultados.

Nem todas as perguntas precisam de indicadores de entrada e saída, mas veja alguns exemplos de como adicionar subperguntas:

1. O cliente recebeu uma resposta? → Cobertura.
2. Quanto tempo o produto levou para responder? → Latência.
3. O usuário gostou da resposta? → Feedback, adoção e retenção.
   1. O usuário indicou se a resposta estava certa ou errada? (saída)
   2. A resposta foi boa ou razoável? (entrada)

Por fim, é necessário definir como coletar as métricas. A maioria é coletada em larga escala por meio de instrumentação de dados. No entanto, para produtos de ML, é possível realizar avaliações manuais ou automáticas das saídas do modelo. Embora as avaliações automatizadas sejam ideais, começar com avaliações manuais e criar critérios para definir o que é “bom”, “razoável” ou “ruim” pode pavimentar o caminho para um processo de avaliação automatizado rigoroso e testado.

Exemplos Práticos de Métricas para produtos de IA: Busca e Descrição de Produtos

Essa estrutura pode ser aplicada a qualquer produto baseado em ML. Considere o exemplo de uma busca:

Outro exemplo é um produto que gera descrições para um cardápio no Doordash ou listagens de produtos na Amazon. Veja como as métricas podem ser definidas:

Essa abordagem é adaptável a diversos produtos baseados em machine learning. A definição correta de métricas é crucial para o sucesso de qualquer modelo de ML. E por falar nisso, você já sabe quais são os novos recursos de IA da Adobe em Photoshop, Lightroom e Premiere?

Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.

Via VentureBeat

André Luiz

André atua como jornalista de tecnologia desde 2009 quando fundou o Tekimobile. Também trabalhou na implantação do portal Tudocelular.com no Brasil e já escreveu para outros portais como AndroidPIT e Techtudo. É formado em eletrônica e automação, trabalhando com tecnologia há 26 anos.