O app de avaliações Yelp tem fornecido informações valiosas para consumidores há décadas, sempre de olho nas novidades tecnológicas. A empresa já experimentava com aprendizado de máquina desde seus primeiros anos. Recentemente, com a explosão da tecnologia de Inteligência Artificial, a Yelp enfrentou alguns desafios ao tentar empregar modelos de linguagem grandes (LLMs) modernos para aprimorar alguns de seus recursos.
A Yelp percebeu que seus clientes, especialmente aqueles que usavam o app esporadicamente, estavam tendo dificuldades para interagir com seus recursos de IA, como o AI Assistant.
Craig Saldanha, diretor de produtos da Yelp, em entrevista, revelou: “Uma das lições que aprendemos é que é fácil construir algo que parece legal, mas é muito difícil construir algo que, além de legal, seja realmente útil”.
Após o lançamento do Yelp Assistant, o assistente de busca alimentado por IA, em abril de 2024, a empresa notou uma queda no uso de suas ferramentas de IA.
Saldanha explicou que os usuários casuais, que visitavam o site ou app ocasionalmente para encontrar um novo alfaiate ou encanador, não esperavam interagir diretamente com um representante de IA.
Leia também:
## Da simplicidade aos recursos avançados de IA
A maioria das pessoas conhece o Yelp como um site e app para buscar avaliações de restaurantes e fotos de cardápios. Muitos usam o Yelp para encontrar fotos de pratos em restaurantes novos e verificar se outras pessoas compartilham da mesma opinião sobre um determinado prato. Além disso, o aplicativo também informa se um café possui Wi-Fi, tomadas e assentos, algo raro em algumas cidades.
Saldanha mencionou que o Yelp tem investido em IA “há quase uma década”.
Ele recorda que, por volta de 2013-2014, a empresa estava focada em construir seus próprios modelos para entender melhor as consultas dos usuários, pois, segundo ele, “parte do trabalho de fazer uma conexão significativa é ajudar as pessoas a refinar sua própria intenção de busca”.
Com a evolução da IA, as necessidades do Yelp também mudaram. A empresa investiu em IA para reconhecer alimentos nas fotos enviadas pelos usuários e identificar os pratos mais populares. Além disso, lançou novas formas de conectar usuários a profissionais e serviços, ajudando a orientar as buscas na plataforma.
O AI Assistant ajuda os usuários do Yelp a encontrar o “Pro” certo para cada trabalho. As pessoas podem tocar no chatbot e usar os comandos sugeridos ou digitar a tarefa que precisam realizar. O assistente faz perguntas adicionais para restringir a lista de prestadores de serviço e, em seguida, envia uma mensagem para os profissionais que possam estar interessados em fazer um orçamento para o serviço.
Saldanha explica que os profissionais são incentivados a responder aos usuários diretamente, embora ele reconheça que grandes marcas geralmente possuem centrais de atendimento que lidam com as mensagens geradas pelo AI Assistant do Yelp.
Além do AI Assistant, o Yelp lançou o Review Insights and Highlights. Essa ferramenta utiliza LLMs para analisar o sentimento dos usuários e revisores, transformando essas informações em pontuações de sentimento. O Yelp utiliza um prompt detalhado do GPT-4o para gerar um conjunto de dados para uma lista de tópicos, que é então ajustado com um modelo GPT-4o-mini.
O recurso de destaques de avaliação, que apresenta informações das avaliações, também utiliza um prompt LLM para gerar um conjunto de dados, baseado no GPT-4 e ajustado com o GPT-3.5 Turbo. O Yelp informou que atualizará o recurso com o GPT-4o e o o1.
Assim como diversas outras empresas, o Yelp está usando LLMs para melhorar a utilidade das avaliações, adicionando funções de busca aprimoradas baseadas nos comentários dos clientes. Um exemplo disso é a Amazon, que lançou o Rufus, um assistente alimentado por IA que ajuda os usuários a encontrar itens recomendados.
## Grandes modelos e necessidades de desempenho
Para muitos de seus novos recursos de IA, incluindo o AI Assistant, o Yelp recorreu ao GPT-4o da OpenAI e a outros modelos. No entanto, Saldanha ressaltou que os dados do Yelp são o ingrediente secreto para seus assistentes, independentemente do modelo utilizado. A empresa não queria se limitar a um único modelo e se manteve aberta a experimentar diferentes LLMs para oferecer o melhor serviço aos seus clientes.
Saldanha informou que eles utilizam modelos da OpenAI, Anthropic e outros modelos na AWS Bedrock.
Para garantir a melhor performance, o Yelp criou uma rubrica para testar os modelos em relação à correção, relevância, consciência, segurança do cliente e conformidade. Segundo ele, os modelos de ponta foram os que apresentaram o melhor desempenho. A empresa realiza um pequeno piloto com cada modelo antes de levar em consideração o custo de iteração e a latência de resposta.
## Educando os usuários sobre a **Avaliação de LLMs pelo Yelp**
O Yelp também iniciou um esforço para educar tanto os usuários casuais quanto os mais experientes, a fim de que se sentissem mais confortáveis com os novos recursos de IA. Saldanha mencionou que uma das primeiras coisas que perceberam, especialmente com o AI Assistant, é que o tom precisava soar mais humano. As respostas não podiam ser rápidas ou lentas demais, nem excessivamente entusiasmadas ou bruscas.
O diretor de produtos da Yelp explicou que eles se esforçaram bastante para fazer com que as pessoas se sentissem à vontade, principalmente na primeira resposta. Demoraram quase quatro meses para acertar esse ponto, mas, assim que o fizeram, o impacto no engajamento foi imediato e evidente.
Parte desse processo envolveu treinar o AI Assistant para usar palavras específicas e soar de forma positiva. Após todo esse ajuste, Saldanha afirma que eles finalmente estão vendo números de uso mais altos para os recursos de IA do Yelp.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
