Sua equipe criou um agente de IA, colocou-o diante dos usuários e acompanhou a chegada das primeiras solicitações. Agora você precisa entender se ele está se tornando parte do trabalho deles.
Quem o descobre? Quem experimenta uma vez e volta quando surge a próxima tarefa? Onde os usuários travam? E quando o agente ajuda alguém a concluir uma tarefa, a melhoria vale o que custa para ser entregue?
Essas perguntas fornecem uma estrutura prática para medir a adoção de agentes de IA. Acompanhe a jornada desde a descoberta até a conclusão do trabalho, depois use o que aprender para melhorar a experiência e medir o retorno novamente.
As equipes de produto precisam entender o que as pessoas perguntam, onde as interações falham e o que acontece depois. Com o Pendo, as equipes podem conectar as interações com agentes à experiência mais ampla do produto e identificar onde os usuários precisam de ajuda.
Defina o trabalho que seu agente deve ajudar as pessoas a realizar
Comece com uma tarefa que seus usuários-alvo reconheçam. Um assistente de relatórios pode ajudar um administrador a criar e compartilhar um relatório semanal. Nomeie a tarefa, o público e o resultado que representa sucesso.
Para este assistente, o sucesso pode significar um relatório preciso salvo e compartilhado em até 24 horas após o início. Isso fornece um resultado a acompanhar ao longo da conversa e do próprio produto.
Mantenha pessoas, tarefas e conversas separadas. Uma pessoa pode concluir várias tarefas, e uma tarefa pode abranger várias conversas. Se você medir tarefas concluídas, use um identificador de tarefa consistente para que tentativas repetidas não inflem a contagem.
A frequência da tarefa também importa. Relatórios semanais dão às pessoas um motivo semanal para retornar. Interprete o uso contínuo no contexto de com que frequência os usuários precisam do agente.
Para agentes em segundo plano ou proativos, comece pelo evento que aciona a assistência. Acompanhe se o agente oferece ajuda, se os usuários a aceitam e se o trabalho é concluído.
Acompanhe a descoberta, o primeiro uso e o uso recorrente
Comece com três perguntas: as pessoas conseguem encontrar o agente, elas o experimentam e voltam a usá-lo? Essas métricas complementam os 10 KPIs essenciais para medir o desempenho de agentes de IA ao mostrar como o agente passa a fazer parte do trabalho dos usuários.
Descoberta: os usuários conseguem encontrar o agente onde precisam? Use o Pendo Product Analytics para entender onde o trabalho relevante começa. Para o assistente de relatórios, pode ser a página de relatórios. Acompanhe quantos usuários elegíveis visualizam o ponto de entrada e use orientações direcionadas para ajudar mais pessoas a encontrá-lo. Ser exibido um convite não garante que alguém o tenha notado.
Primeiro uso: os usuários fazem uma primeira solicitação? Crie um funil desde o ponto de entrada do agente até uma primeira solicitação, usando um segmento de pessoas que ainda não usaram o agente. Certifique-se de que esses eventos sejam capturados. Se os usuários abandonarem o fluxo, teste um convite mais claro ou uma tarefa inicial sugerida.
Uso recorrente: os usuários voltam? A métrica de retenção integrada do Agent Analytics mede o percentual de visitantes que enviaram prompts em pelo menos duas semanas diferentes dentro do intervalo de datas selecionado, em relação a todos os visitantes que enviaram prompts nesse período. Escolha um período de relatório que ofereça aos usuários uma oportunidade significativa de retornar.
Analise os casos de uso e as contas por trás da média. Pendo Agent Analytics ajuda você a explorar o que as pessoas solicitam e os problemas que encontram. Use essas descobertas para investigar o que faz as pessoas voltarem e o que as desencoraja.
Meça o trabalho concluído e os pontos em que as pessoas desistem
Assim que as pessoas começarem a usar o agente, verifique se elas realizam a tarefa para a qual vieram.
Considere um mês hipotético em que os usuários iniciam 600 tarefas de relatório e concluem 420 relatórios precisos, salvos e compartilhados em até 24 horas. A taxa de conclusão de tarefas é de 70%. Conte todos os inícios de tarefas, incluindo as tentativas que falham ou são interrompidas, e permita que cada tarefa tenha sua janela de conclusão completa antes de gerar o relatório.
Do Pendo métricas de sucesso personalizadas permitem que você defina conversas bem-sucedidas. As métricas de eventos rastreiam se as conversas levam a ações específicas no produto; as métricas híbridas combinam regras de sucesso de conversas com essas ações. Se você precisar de uma taxa de conclusão de tarefas em várias conversas, rastreie e elimine duplicatas das tarefas separadamente.
Inclua a qualidade na definição. Um relatório compartilhado com dados incorretos ainda requer atenção. Revise uma amostra do trabalho concluído e leve em conta o tempo que os usuários gastam verificando ou corrigindo-o.
Investigue tarefas incompletas para entender se os usuários encontraram um problema, precisaram de ajuda humana ou concluíram em algum lugar que seu rastreamento não conseguiu observar. Defina quando você considera uma tarefa abandonada e rastreie as transferências para um humano separadamente. Uma conversa que fica em silêncio não significa que alguém desistiu.
Use problemas de agente e caminhos de produto para entender onde o trabalho parou. Diferencie solicitações sem suporte de próximas etapas confusas e mantenha os resultados desconhecidos visíveis para que dados ausentes não inflem a taxa de sucesso.
Use o Pendo para resolver o gargalo de adoção
Use o que você aprende para escolher a próxima melhoria.
Se os usuários têm sucesso após usar o agente, mas poucos o descobrem, ajude mais pessoas a encontrá-lo. Se as pessoas o veem e raramente fazem uma primeira solicitação, explique o que ele pode fazer. Se elas o experimentam e somem, analise a experiência da primeira tarefa e se o agente oferece suporte a uma atividade que precisam repetir.
Pendo for Agents reúne o Agent Analytics e o Agent Toolkit. O Agent Analytics ajuda você a entender o uso, os problemas e os resultados. O Agent Toolkit, disponível em beta aberto, fornece aos agentes contexto sobre o produto e o usuário para que possam oferecer uma ajuda mais relevante.
Para o assistente de relatórios, isso pode significar exibir um guia relevante do Pendo quando um usuário tem dificuldade para salvar um relatório, com base no que ele já fez. Configure as funcionalidades que seu agente precisa e, em seguida, meça se os usuários concluem a tarefa com mais frequência. O Agent Toolkit e o Agent Analytics têm configurações separadas.
Sua equipe também pode investigar a adoção a partir de suas ferramentas de IA existentes. Com o Headless Pendo, um PM pode perguntar diretamente no Claude sobre casos de uso e problemas do agente e, em seguida, trazer o uso do produto e o feedback para a investigação.
A partir daí, salve um público afetado e elabore um guia no aplicativo para o fluxo de trabalho de relatórios. Uma pessoa revisa e ativa o guia. Depois, verifique se mais usuários têm sucesso e se a mudança valeu o esforço.
O trabalho útil de um agente pode abranger conversas, ferramentas conectadas e a interface do produto. Inclua essas experiências ao avaliar a adoção para que você possa acompanhar o trabalho até o seu resultado.
Torne a comparação justa
Compare usuários semelhantes realizando trabalhos semelhantes em períodos comparáveis, usando os mesmos padrões de sucesso e qualidade. Dê aos usuários tempo suficiente para concluir e leve em conta outras mudanças que possam afetar os resultados. Uma taxa de conclusão mais alta entre os usuários do agente indica uma associação; uma implantação randomizada ou uma comparação controlada cuidadosamente planejada pode ajudar a isolar a contribuição do agente. Inclua as pessoas com acesso atribuído que nunca o utilizam.
Experimentos do Agent Analytics permitem que as equipes comparem configurações, modelos, ferramentas e outros grupos. O que você pode atribuir a uma mudança depende de como os participantes são designados e das condições sendo comparadas.
Conecte a adoção bem-sucedida ao ROI e, em seguida, aprimore-a
Para um assistente interno de relatórios, o tempo economizado é uma forma de estimar o valor. Compare o esforço total necessário com e sem o agente, incluindo revisão e retrabalho.
Suponha que as 420 tarefas concluídas em nosso mês hipotético economizem cinco minutos cada em comparação com o mesmo trabalho sem o agente. Isso totaliza 35 horas. Considerando um custo de mão de obra totalmente carregado de $60 por hora, o valor estimado do tempo economizado é de $2.100.
Se o custo total alocado do agente naquele mês for US$ 1.400, o valor líquido estimado será US$ 700. Divida US$ 700 por US$ 1.400 para obter um ROI modelado de 50%.
Inclua no custo a implementação, os encargos de modelo e infraestrutura, a manutenção, a avaliação e a supervisão humana. Este exemplo pressupõe taxas de conclusão e qualidade comparáveis, sem esforço adicional em tarefas incompletas. Considere essas diferenças caso elas mudem.
O tempo economizado gera capacidade; ele se converte em economia financeira quando os gastos mudam. Para um agente voltado ao cliente, estabeleça como a melhoria nos resultados do cliente beneficia seu negócio antes de atribuir um valor financeiro. Use os custos operacionais reais e evite contabilizar o mesmo trabalho duas vezes. Nosso guia sobre como os criadores de produtos podem comprovar o ROI da IA aprofunda esse business case.
Após cada mudança, verifique se mais usuários concluem a tarefa, se a qualidade se mantém e se o benefício justifica o custo. Repita a comparação usando os mesmos critérios e os custos completos.
Comece com um agente e uma melhoria
Escolha uma tarefa que seu agente deve facilitar. Defina quem pode usá-lo, como as pessoas o descobrem, como é um trabalho bem-sucedido e quando elas terão motivo para voltar.
Identifique onde a adoção trava, use o Pendo para entender e melhorar essa experiência e meça o resultado em relação ao custo total. Você terá uma base mais clara para expandir um caso de uso bem-sucedido, aprimorar um caso fraco ou concentrar o investimento onde o agente gera mais valor.
Explore o Pendo for Agents para conectar a adoção do agente, o contexto do produto e os resultados que ajudam você a decidir o que fazer a seguir.
