Os investimentos em agentes têm sido significativos e cada vez mais estratégicos. Dezoito meses atrás, os agentes de IA eram em grande parte domínio de programas piloto e provas de conceito. Hoje, eles estão sendo incorporados em fluxos de suporte ao cliente, integração de funcionários, bases de conhecimento internas e inúmeros outros fluxos de trabalho em organizações de todos os tamanhos.
Os CFOs não estão mais observando os gastos com IA à distância. Hoje, eles são os responsáveis pelo orçamento e exigem prestação de contas sobre ele. Os conselhos querem saber se a IA está sendo implementada e como está gerando valor de negócio duradouro, o que torna o padrão a seguir digno de uma análise cuidadosa.
93% do orçamento empresarial de IA vai para a própria tecnologia, com infraestrutura, modelos e implantação consumindo a grande maioria dos gastos. Os 7% restantes vão para a mudança de comportamento, adoção e mensuração necessárias para concretizar o retorno sobre esse investimento.
Isso não é uma falha de ambição; simplesmente reflete o estágio em que o ecossistema de ferramentas se encontrava quando as organizações começaram a implantar agentes em escala. As ferramentas para construir agentes amadureceram rapidamente. As ferramentas para entender como os usuários os experienciam ainda estão se atualizando, e a lacuna entre essas duas coisas é onde uma quantidade significativa de valor de IA desaparece silenciosamente.
Os agentes podem ser tecnicamente impecáveis, mas ainda assim falhar
Hoje, a abordagem dominante para monitorar agentes de IA vem da pilha de observabilidade do desenvolvedor: rastreamentos, spans, medições de latência, consumo de tokens, detecção de alucinações, taxas de erro. Ferramentas como LangSmith, Arize e Braintrust foram criadas por engenheiros para engenheiros, e fazem bem o seu trabalho. Elas informam se o seu agente está em execução e ajudá-lo a responder perguntas como:
- O agente respondeu?
- Quanto tempo levou?
- Qual foi o custo por token?
- Ele alucionou?
- Onde a API falhou?
Essas são perguntas necessárias, mas não são suficientes por si só.
Um agente pode parecer perfeito à primeira vista — respostas rápidas, baixas taxas de erro, rastreamentos limpos — e ainda assim estar falhando com as pessoas para as quais foi criado. Ele pode responder perguntas rapidamente enquanto consistentemente deixa de atender ao que os usuários realmente precisavam. Pode ter um excelente tempo de atividade enquanto permanece amplamente sem uso porque os usuários acharam mais fácil abrir um suporte ticket.
As pessoas de produto, por outro lado, fazem perguntas diferentes sobre observabilidade:
- Os usuários conseguiram o que precisavam?
- Onde estão ficando frustrados?
- Quais casos de uso estão realmente surgindo?
- A adoção está crescendo ou estagnando?
- Vale a pena escalar isso?
Ambos os conjuntos de perguntas são importantes. Mas apenas um diz se o seu investimento em IA está gerando valor para o negócio — e, para a maioria das organizações atualmente, essa coluna está amplamente sem medição.
A experiência híbrida de SaaS e agentes que ninguém está monitorando
Há uma razão estrutural pela qual medir agentes isoladamente fornece uma visão incompleta: os usuários não experienciam os agentes de forma isolada.
Na maioria dos ambientes corporativos, um agente está inserido em uma experiência de software mais ampla. Um usuário navega por um painel, encontra um ponto de atrito e recorre a um agente de IA. O que ele faz depois (seja concluir a tarefa, abrir um ticket de suporte ou abandonar completamente) revela muito mais sobre o sucesso do agente do que a resposta do próprio agente em si. A sessão completa é a unidade de medida que importa.
Quando esses dados vivem em sistemas separados, você não consegue ver que os usuários que têm dificuldades com um determinado fluxo de trabalho têm mais probabilidade de abandonar a interação com o agente que se segue. Você não consegue ver que seu agente está respondendo perguntas que uma interface melhor projetada teria respondido por conta própria. A transição do software baseado em cliques para o software agêntico é acontecendo em toda a experiência do usuário, e você precisa conseguir enxergar dessa forma.
O Pendo captura essa visão completa: o que os usuários fazem antes, durante e depois das interações com agentes, em um único conjunto de dados, junto com toda a sua análise de produto existente.
É a única maneira de entender o que está realmente acontecendo à medida que a experiência do usuário muda. E é o que o Pendo Agent Analytics foi criado para responder.
O que o Agent Analytics realmente mede
Quando a Pendo lançou o Agent Analytics em junho de 2025, a premissa era simples: medir o impacto de um agente de IA deveria ser muito parecido com medir qualquer outra capacidade significativa de produto.
Adoção. Profundidade de engajamento. Retenção. Conclusão de tarefas. E os sinais de atrito que preveem o abandono antes que ele se torne churn. Um ano depois, esse enquadramento se manteve e ficou mais nítido em torno de um conjunto específico de métricas que se revelam os indicadores antecedentes da saúde agêntica. Os profissionais de produto precisam medir as métricas de desempenho do agente, like:
- Taxa de Problemas: A proporção de conversas em que o agente não consegue resolver a necessidade do usuário. Orientações repetidas, tempos esgotados, respostas fora do script. O principal indicador de atrito.
- Taxa de Prompt Raivoso: Usuários reformulando repetidamente, usando letras maiúsculas ou enviando prompts com falha rapidamente. O equivalente conversacional de um clique raivoso.
- Taxa de Retenção: A proporção de usuários que retornam ao agente ao longo do tempo. O sinal mais claro de valor duradouro versus novidade.
O que torna essas métricas-chave, além das demais capturadas no Agent Analytics, significativas é que elas são rastreadas junto com o restante da experiência do usuário no produto. Uma Taxa de Problemas crescente isoladamente é um sinal. Uma Taxa de Problemas crescente Taxa que se correlaciona com um declínio acentuado na adoção geral do produto ou na fidelidade é uma inteligência acionável.
Os mesmos princípios que entregam ótimos produtos também se aplicam aos agentes
O Pendo foi construído sobre duas crenças que se mantêm desde o início.
O primeiro: para entender genuinamente como os usuários experienciam um software, você precisa de mais de um tipo de sinal. Os dados quantitativos dizem o que os usuários fazem. O feedback qualitativo diz o que eles pensam. O sentimento diz como eles se sentem. As reproduções visuais mostram exatamente o que eles viram. E os dados conversacionais — a quinta e mais nova dimensão — capturam o que os usuários dizem ao seu agente e como isso impacta a experiência deles. Juntos, eles oferecem uma visão completa.
A segunda crença é o que torna a primeira útil: análises e orientações pertencem à mesma ferramenta. Entender onde os usuários enfrentam dificuldades só tem valor se você puder agir com base nisso. Insight sem a capacidade de responder é apenas uma consciência cara.
Ambas as crenças se aplicam diretamente aos agentes de IA. O Agent Analytics estende todas essas dimensões à IA conversacional: métricas quantitativas como Taxa de Problemas, Taxa de Prompt Raivoso e Retenção revelam padrões em escala; o Session Replay permite que você assista à o exato momento em que a paciência de um usuário se esgotou; o sentimento revela como os usuários se sentem em relação ao que estão solicitando; e os sinais qualitativos revelam o que os usuários querem que o agente faça, mas que ele atualmente não consegue. Quando um ponto de atrito surge em qualquer uma dessas dimensões, Pendo Guides permitem que as equipes de produto ajam imediatamente, sem um sprint de engenharia.
Quando esses cinco sinais e a capacidade de responder a eles vivem em uma única plataforma, a pergunta muda de "como o agente está se saindo?" para "como o agente está mudando a forma como as pessoas usam meu produto?"
O que você implantou vs. o que os usuários realmente querem
Cada agente é criado com um propósito: lidar com perguntas de integração, auxiliar no registro de despesas, apresentar documentação relevante. Esses são os casos de uso pretendidos: os fluxos de trabalho que uma equipe projetou e investiu deliberadamente. Mas os usuários interagem com os agentes em seus próprios termos, fazendo perguntas para as quais o agente não foi projetado e tentando fluxos de trabalho ninguém antecipou.
O Pendo revela esses casos de uso emergentes automaticamente por meio de agrupamento semântico—agrupando prompts por tema sem marcação manual—para que você possa ver quais comportamentos estão realmente impulsionando o engajamento e quais casos de uso pretendidos estão sendo silenciosamente ignorados.
A Pushpay, uma provedora de pagamentos, descobriu que os usuários abandonavam as conversas após apenas três ou quatro prompts com o Agent Analytics. Ver exatamente onde o drop-off was happening let the team redesign that specific experience based on real user requests rather than assumptions. They now use Agent Analytics for regular monitoring of their AI search tool, and have found users leveraging it decreased their time to access critical information from 1-2 minutes to 10 seconds.
Conectando o comportamento do agente aos resultados de negócios
A questão de mensuração que mais importa para um CFO pode não ser a adoção explicitamente, mas sim o retorno. E a forma de comprovar o retorno sobre um investimento em agente de IA é conectar as interações do agente aos resultados de negócios subsequentes.
O Pendo faz isso por meio de funis de conversão e comparações de caminho que tratam o agente como uma etapa no fluxo de trabalho do usuário, e não como um sistema separado. Um usuário que interage com o assistente de reservas tem uma taxa mais alta de concluir uma reserva? O funcionário que usa a ferramenta de despesas com IA fecha seu relatório mais rápido do que aquele que segue o caminho tradicional baseado em cliques? A abordagem agêntica é realmente melhor do que o que substituiu?
Para implantações voltadas ao uso interno, o caso de ROI é frequentemente medido em termos de mão de obra: quantas consultas rotineiras o agente está tratando e o que isso libera? Para implantações voltadas ao cliente, isso aparece nos dados de retenção e satisfação. Em ambos os casos, a comprovação exige conectar a interação do agente ao que acontece em seguida, o que só é possível quando os dados vivem no mesmo lugar.
Respondendo às perguntas sobre ROI de IA que seu conselho já está fazendo
Em algum lugar da sua organização agora, alguém está preparando um slide sobre ROI de IA. Pode ser para uma reunião de conselho, uma revisão de orçamento ou um evento de liderança. E a verdade desconfortável é que, para a maioria das organizações, esse slide é construído com base em métricas de implantação — quantos agentes estão ativos, quantos prompts estão sendo enviados, quanto foi gasto—porque esses são os únicos dados disponíveis.
As métricas de implantação não respondem à pergunta que os conselhos realmente fazem. Eles querem saber se o investimento está funcionando, se os usuários estão adotando as ferramentas e obtendo ganhos de produtividade, e se isso é uma base para construir (ou um experimento caro a ser encerrado). Essas respostas exigem um tipo diferente de dados e, agora, a maioria as organizações não têm.
Essa é a lacuna que o Agent Analytics fecha. Ele adiciona a camada que sua stack de engenharia nunca foi projetada para fornecer: a experiência do usuário. O que eles precisavam, se conseguiram, onde desistiram e o que isso significa para decidir se você expande, mantém ou recua. Veja como funciona neste vídeo.
