Entre o ritmo da IA e nossos sinais de uso, um roadmap fixo além disso simplesmente não faz mais sentido.
Esta reunião funciona com base em duas entradas: a primeira é o feedback direto dos clientes, como bugs, desafios de UX e lacunas de produto, enviados por meio de guias de feedback em nossa interface. Embora esses dados sejam qualitativos, podemos de fato quantificá-los com o Pendo: podemos medir quantos usuários enfrentaram a mesma frustração, quantos fizeram a mesma solicitação e o valor das contas por trás de cada prioridade. E quando um usuário está especialmente engajado, buscamos agendar uma chamada com ele.
A segunda entrada principal são os Problemas no Agent Analytics. Sou o PM Líder do Leo, o assistente de produto com IA da Pendo. Usamos o Agent Analytics toda semana para medir o Leo da mesma forma que esperaríamos que qualquer um de nossos clientes o utilizasse para seus próprios agentes. A seguir, compartilhei dois exemplos de como isso funciona na prática.
O guardrail que estava falhando em milhares de conversas de usuários
Quando o Leo foi lançado, decidimos deliberadamente não oferecer suporte a perguntas do tipo "como fazer". Coisas como: "Como eu crio um segmento?" "Como eu atualizo meu roadmap?" Os usuários perguntavam, e o Leo os redirecionava para a base de conhecimento da Pendo.
Colocamos esse guardrail porque o Leo estava alucinando nessas perguntas. Ainda não o tínhamos conectado a uma fonte de conhecimento atualizada e não queríamos entregar respostas erradas. Essa é a realidade de fazer concessões contínuas ao construir um roadmap e desenvolver um produto.
Embora achássemos que estávamos sendo responsáveis, o Agent Analytics eventualmente nos mostrou que estávamos gerando frustração.
O detector de problemas sinalizou isso sem que precisássemos nem perguntar: mais de 60% de todos os problemas no Leo tinham como origem essa única causa raiz. Um problema, espalhado por milhares de conversas, surgindo repetidamente. Sem o Agent Analytics, não teríamos como entender a gravidade dessa lacuna enquanto nos preparávamos para passar do beta fechado para um lançamento completo. Um PM não pode tomar decisões de priorização baseadas em dados sem insights agregados de todas as conversas dos usuários. Com esses dados, sabíamos que estávamos perdendo cada vez mais a confiança dos usuários após apenas uma conversa com o Leo.
Para corrigir isso, criamos um sub-agente de conhecimento dedicado dentro do Leo, semelhante aos seus outros sub-agentes para tarefas como análise quantitativa e criação de guias. Adicionamos um para conhecimento, conectamos à nossa base de conhecimento atualizada e habilitamos o Leo a responder perguntas do tipo "como fazer" com precisão, em vez de redirecioná-las.
Da noite para o dia, esse problema desapareceu da nossa lista de problemas. Passamos de milhares de conversas sinalizadas para zero, com um único lançamento arquitetural.
Os usuários para os quais não projetamos, e como os encontramos
O ICP original do Leo era claro: pessoas que não conhecem o Pendo, não têm tempo para aprender analytics e querem respostas rápidas para perguntas simples. Quando lançamos o Leo no último ano, esse grupo apareceu.
No entanto, um segundo grupo também apareceu e, infelizmente, era um para o qual não havíamos desenvolvido: usuários avançados de Analytics. Defensores do Pendo que olharam para o Leo e disseram: você acabou de colocar uma interface conversacional em cima de todos os meus dados. Eles imediatamente começaram a fazer perguntas complexas de analytics, como análise de funil de conversão entre aplicativos e consultas em grandes conjuntos de dados. O Leo não conseguia lidar bem com isso. Sabíamos que essas limitações existiam, mas não sabíamos com que frequência os usuários as encontravam, nem quais lacunas estavam causando mais atrito.
Usando o Agent Analytics, criamos casos de uso rastreados para quantificar a divisão: com que frequência os usuários fazem perguntas mais simples que o Leo responde bem, versus com que frequência estão em um território onde os prompts são mais avançados e a experiência está se deteriorando? Categorizamos por nível de complexidade e por intenção: perguntas de aquisição, perguntas de adoção, perguntas de conversão, etc.
O Diretor Sênior de Analytics do Pendo e eu nos sentamos com esses dados e os usamos para sequenciar quais capacidades construir primeiro. A melhor parte foi que nossos dados do Agent Analytics orientaram a ordem em que construiríamos. O que, como qualquer PM pode atestar, é muito preferível ao feeling ou a depender da voz mais alta na sala. Sabíamos, objetivamente, a frequência com que os usuários encontravam cada lacuna e o impacto que poderíamos esperar de cada correção que faríamos.
No final, ampliamos as ferramentas do Leo para lidar com as solicitações quantitativas mais complexas que o segundo grupo estava fazendo.
As avaliações indicavam que estávamos prontos, mas precisávamos de mais do que isso
Antes de lançar as mudanças de ferramentas para os milhares de usuários do Leo, precisávamos saber se elas realmente melhorariam a experiência ou apenas deslocariam o problema para outro lugar. Nossas avaliações pareciam boas (verde em todos os aspectos).
A parte complicada é que não confiamos mais apenas nas avaliações. No último ano, nossa equipe tem construído e feito melhorias contínuas no Leo, e descobrimos que você pode ter tudo verde no seu conjunto de automação de testes, e então o primeiro usuário real pergunta algo que seus testes nunca anteciparam, e o agente falha. As avaliações são controladas, mas os usuários definitivamente não são. Some a isso a natureza não determinística desses modelos, e poderíamos passar em todos os testes e ainda assim falhar na primeira conversa.
Para superar essa barreira à otimização significativa, realizamos um experimento no Agent Analytics antes de lançar as mudanças quantitativas para todos os nossos usuários. Fizemos um teste A/B das novas ferramentas com 20% da nossa base de usuários. O resultado: uma queda de 67% na taxa de problemas para esse grupo, com usuários reais, não bots sintéticos. E porque está conectado ao contexto mais amplo do comportamento do usuário, pudemos rastrear o engajamento dos usuários e as métricas de qualidade de IA lado a lado.
Foi isso que nos deu a convicção de implementar essas mudanças significativas no backend de forma mais ampla. Em vez de depender de avaliações excessivamente otimistas ou de um único "joinha" de um usuário de teste interno, temos uma maneira objetiva e escalável de lançar cada nova atualização do Leo com confiança.
O que observamos desde então
A adoção de novos visitantes do Leo aumentou +16,1% apenas nos últimos 60 dias. Mais significativo para um PM, nossos visitantes recorrentes semanais cresceram 61,3%. O que me diz que o Leo tem valor para o nosso público e não é uma novidade passageira.
Embora a retenção esteja crescendo, ainda há muito trabalho pela frente. Fico grato por termos um processo consistente para priorizar continuamente o tempo da minha equipe e dos engenheiros com base em sinais reais dos usuários: identificar o problema no AA, focar na causa raiz, fazer a mudança de infraestrutura correta, confirmar antes de lançar com um experimento e, em seguida, observar nossas métricas principais crescerem.
Esse ciclo é como gerenciamos o Leo, e é o mesmo ciclo que eu recomendaria a qualquer PM que esteja desenvolvendo um agente de IA.
Conecte o contexto comportamental a qualquer agente que você desenvolva ou adquira e, em seguida, meça se está funcionando com o Pendo para agentes de IA. Saiba mais.
