Para empresas, encontrar o prompt certo para obter o melhor resultado de um modelo de IA generativa nem sempre é fácil. Em algumas organizações, essa tarefa recai sobre o novo cargo de engenheiro de prompt, mas não é bem isso que aconteceu no LinkedIn. A plataforma de networking profissional, que pertence à Microsoft e possui mais de 1 bilhão de contas de usuários, enfrentou o desafio de conectar usuários de negócios técnicos e não técnicos com a IA generativa.
A empresa criou o que chama de “playground de engenharia de prompt colaborativo”, que permite que usuários técnicos e não técnicos trabalhem juntos. O sistema utiliza uma combinação de tecnologias, incluindo modelos de linguagem grande (LLMs), LangChain e Jupyter Notebooks. O LinkedIn já utilizou essa abordagem para aprimorar seu produto Sales Navigator com recursos de IA, com foco específico no AccountIQ, uma ferramenta que reduz o tempo de pesquisa de empresas de 2 horas para 5 minutos.
## O Desafio Organizacional de Implementar IA Generativa
O LinkedIn não é estranho ao mundo do aprendizado de máquina (ML) e IA. Antes do ChatGPT, o LinkedIn já havia construído um toolkit para medir a imparcialidade do modelo de IA. No VB Transform em 2022, a empresa descreveu sua estratégia de IA. No entanto, a IA generativa é um pouco diferente. Ela não exige especificamente que engenheiros a utilizem e é mais amplamente acessível. Essa é a revolução que o ChatGPT desencadeou. Construir aplicações alimentadas por IA generativa não é exatamente o mesmo que construir uma aplicação tradicional.
Ajay Prakash, engenheiro de software do LinkedIn, explicou que, antes da IA generativa, os engenheiros normalmente recebiam um conjunto de requisitos de produto da equipe de gerenciamento de produtos e, em seguida, construíam o produto. Com a IA generativa, por outro lado, os gerentes de produto estão experimentando coisas diferentes para ver o que é possível e o que funciona. Ao contrário do ML tradicional, que não era acessível a funcionários não técnicos, a IA generativa é mais fácil para todos os tipos de usuários.
Leia também:
A engenharia de prompt tradicional geralmente cria gargalos, com os engenheiros atuando como guardiões de quaisquer mudanças ou experimentos. A abordagem do LinkedIn transforma essa dinâmica, fornecendo uma interface amigável por meio de Jupyter Notebooks personalizados, que tradicionalmente têm sido usados para ciência de dados e tarefas de ML.
## O Que Há Dentro do Prompt engineering playground do LinkedIn
Não é surpresa que o fornecedor de LLM padrão usado pelo LinkedIn seja a OpenAI. Afinal, o LinkedIn faz parte da Microsoft, que hospeda a plataforma Azure OpenAI. Lukasz Karolewski, gerente sênior de engenharia do LinkedIn, explicou que era mais conveniente usar a OpenAI, pois sua equipe tinha acesso mais fácil dentro do ambiente LinkedIn/Microsoft. Ele observou que usar outros modelos exigiria processos adicionais de segurança e revisão legal, o que levaria mais tempo para torná-los disponíveis. A equipe inicialmente priorizou obter a validação do produto e da ideia em vez de otimizar para o melhor modelo.
O LLM é apenas uma parte do sistema, que também inclui:
* Jupyter Notebooks para a camada de interface;
* LangChain para orquestração de prompt;
* Trino para consultas de data lake durante o teste;
* Implantação baseada em contêiner para fácil acesso;
* Elementos de UI personalizados para usuários não técnicos.
Jupyter Notebooks têm sido amplamente utilizados na comunidade de ML por quase uma década como uma forma de ajudar a definir modelos e dados usando uma interface interativa da linguagem Python. Karolewski explicou que o LinkedIn pré-programou os Jupyter Notebooks para torná-los mais acessíveis para usuários não técnicos. Os notebooks incluem elementos de UI como caixas de texto e botões que facilitam o início para qualquer tipo de usuário. Os notebooks são embalados de forma que permite aos usuários iniciar facilmente o ambiente com instruções mínimas e sem ter que configurar um ambiente de desenvolvimento complexo. O principal objetivo é permitir que usuários técnicos e não técnicos experimentem diferentes prompts e ideias para usar a IA generativa.
## Como Funciona o Prompt engineering playground Colaborativo do LinkedIn
Para que isso funcione, a equipe também integrou o acesso a dados do data lake interno do LinkedIn. Isso permite que os usuários importem dados de forma segura para usar em prompts e experimentos. O LangChain serve como a biblioteca para orquestrar aplicações de IA generativa. A estrutura ajuda a equipe a encadear facilmente diferentes prompts e etapas, como buscar dados de fontes externas, filtrar e sintetizar a saída final. Embora o LinkedIn não esteja atualmente focado em construir aplicações totalmente autônomas baseadas em agentes, Karolewski disse que vê o LangChain como uma base para potencialmente avançar nessa direção no futuro.
A abordagem do LinkedIn também inclui mecanismos de avaliação multicamadas:
* Verificação de relevância baseada em incorporação para validação de saída;
* Detecção automatizada de danos por meio de avaliadores pré-construídos;
* Avaliação baseada em LLM usando modelos maiores para avaliar modelos menores;
* Processos integrados de revisão de especialistas humanos.
A eficácia dessa abordagem é demonstrada por meio do recurso AccountIQ do LinkedIn, que reduziu o tempo de pesquisa de empresas de duas horas para cinco minutos. Essa melhoria não se tratava apenas de um processamento mais rápido, mas representou uma mudança fundamental na forma como os recursos de IA poderiam ser desenvolvidos e aprimorados com a entrada direta de especialistas no assunto.
“Não somos especialistas em vendas”, disse Karolewski. “Esta plataforma permite que especialistas em vendas validem e refinem diretamente os recursos de IA, criando um ciclo de feedback estreito que não era possível antes.”
Embora o LinkedIn não esteja planejando abrir o código fonte de seu playground de engenharia de prompt de IA generativa devido à sua profunda integração com sistemas internos, a abordagem oferece lições para outras empresas que buscam dimensionar o desenvolvimento de IA. Embora a implementação completa possa não estar disponível, os mesmos blocos de construção básicos, ou seja, um LLM, LangChain e Jupyter Notebooks, estão disponíveis para outras organizações construírem uma abordagem semelhante. Tanto Karolewski quanto Prakash enfatizaram que, com a IA generativa, é fundamental focar na acessibilidade. Também é importante permitir a colaboração multifuncional desde o início.
O LinkedIn construiu um ambiente onde a experimentação e a colaboração são incentivadas, permitindo que especialistas de diferentes áreas contribuam para o desenvolvimento de soluções de IA mais eficazes e alinhadas com as necessidades do negócio. Além disso, ao integrar ferramentas como Jupyter Notebooks e LangChain, a empresa democratiza o acesso à tecnologia, permitindo que usuários não técnicos participem ativamente do processo de engenharia de prompt.
“Recebemos muitas ideias da comunidade e aprendemos muito com ela”, disse Lukasz. “Estamos principalmente curiosos para saber o que outras pessoas pensam e como estão trazendo a experiência de especialistas no assunto para as equipes de engenharia.”
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via VentureBeat
