Esta é a pergunta que tira o sono dos líderes de tecnologia. Depois de gastar milhões em ferramentas de IA, as equipes de produto e de TI estão agora se perguntando como identificar o impacto nos negócios desses investimentos. 

Esse problema não é novo: desenvolvedores e compradores de software há muito tempo tentam entender o que os usuários fazem no aplicativo, como se sentem e se esses esforços compensam. Agora, a IA generativa e os agentes estão mudando a forma como as equipes medem o sucesso do software. Trata-se menos de medir cliques, abandonos e tempo gasto em páginas e mais sobre que tipo de resultados esses agentes podem conduzir. 

A única maneira de entender o desempenho dos agentes é vinculando os dados de uso ao que os usuários fazem em seguida. Aqui estão seis perguntas que você deve fazer aos seus dados de agentes de IA, e o que elas significam. 

1. Por que os usuários estão interagindo com meu agente de IA?

Entender o "porquê" por trás do engajamento com agentes ajuda você a replicar os sucessos e corrigir os pontos de falha. Se os usuários só interagem quando estão frustrados com seu produto SaaS tradicional, isso é um problema de UX, não uma vitória da IA. No entanto, se eles estão optando pelos agentes em vez do suporte humano porque é mais rápido, isso é um sinal positivo.

Para entender a intenção, analise os principais casos de uso, o volume de conversas e o contexto do usuário. Acompanhe o que os usuários estavam fazendo antes de uma conversa com um agente, quais caminhos alternativos estavam disponíveis e como seus padrões de engajamento diferem entre segmentos de usuários e casos de uso.

Você poderá identificar: 

  • Se os usuários escolhem agentes primeiro ou recorrem a eles como último recurso
  • Como os padrões de engajamento diferem entre usuários avançados e iniciantes
  • Quais casos de uso estão conectados aos seus usuários mais e menos engajados

2. Os usuários estão alcançando seus objetivos pretendidos? 

Os agentes de IA relatam volumes de conversas, mas não se os usuários atingiram seus objetivos. Para responder a essa pergunta, você precisa de insights sobre o que os usuários fazem após interagir com seus agentes de IA em seu aplicativo.

Para descobrir isso, rastreie a jornada completa, desde a pré-interação até o prompt do agente e o resultado de negócio. O que levou os usuários a interagir com seu agente de suporte em primeiro lugar? Veja quando as conversas terminam com sucesso versus quando os usuários desistem por frustração. E certifique-se de medir o comportamento posterior: eles concluem compras, finalizam o onboarding ou retornar ao seu produto? 

Entender o impacto downstream do agente também ajudará você a responder: 

  • Quais casos de uso levam a resultados bem-sucedidos versus ruins, como becos sem saída, tickets de suporte adicionais, prompts de raiva e feedback negativo
  • Como a conclusão de tarefas varia por segmento de usuário, caso de uso ou complexidade de uma solicitação
  • Se as interações com agentes ajudam ou prejudicam a retenção, o engajamento, a fidelização e a adoção

3. Quais tipos de interações com agentes geram resultados de negócios? 

Para investir de forma eficaz no seu roteiro de IA, você precisa saber como os agentes estão ajudando a aumentar a receita, reduzir custos e minimizar riscos. Isso significa que você precisa de visibilidade sobre os principais casos de uso, além do impacto downstream, para fazer mais do que está funcionando e corrigir o que não está. 

Para responder a essa pergunta, analise as conversas por caso de uso. Acompanhe qual tipo de conversa se correlaciona com conversões, adoção de funcionalidades, expansão de usuários ou churn. Quais conversas têm a maior retenção e ARR associado? Quais conversas estão vinculadas a maior churn e pontuações de NPS ruins? 

Perguntar à sua análise de IA ajuda você a entender: 

  • Quais casos de uso estão vinculados a maiores conversões e retenção
  • Como as interações com agentes afetam o valor do tempo de vida (LTV) de um cliente 
  • Se os agentes estão acidentalmente canibalizando interações humanas de alto valor
  • Quais segmentos de usuários obtêm mais valor de negócio com a ajuda do agente

4. Seu agente está mudando o comportamento dos usuários? 

No curto prazo, os agentes respondem perguntas. No longo prazo, os agentes reformulam fluxos de trabalho — como os usuários navegam pelo seu produto, atendem às suas necessidades e realizam seu trabalho. 

Funcionários e clientes que utilizam agentes podem descobrir funcionalidades mais rapidamente, precisar de menos integração ou seguir um caminho novo e inesperado. Compreender esses padrões ajuda a otimizar o design do agente e a experiência geral do produto.  

Para entender isso, compare os padrões de jornada do usuário antes e depois do agente. Acompanhe como as interações com o agente influenciam a descoberta de funcionalidades, o tempo para obtenção de valor e os caminhos de adoção do produto. Identifique novos comportamentos de usuários que emergem da assistência do agente.

Depois de responder a essa pergunta, você poderá entender: 

  • Quais novos caminhos de usuário surgem quando os agentes guiam a navegação
  • Como os usuários assistidos por agentes diferem nos padrões de engajamento e retenção
  • Se o seu agente está melhorando o sentimento geral do usuário por meio de NPS e CSAT

5. Em que você deve investir a seguir?

A maioria das equipes cria recursos de agente com base no instinto, em vez de dados sobre o que os usuários realmente precisam e utilizam. 

Os roteiros de IA, orientados por dados comportamentais reais, ajudam a reduzir o desperdício de gastos com P&D e os riscos do roadmap. Isso exige saber quais capacidades estão funcionando e quais não estão, para que você possa priorizar, melhorar ou descontinuar adequadamente partes do seu stack.

Para determinar isso, analise padrões de solicitações não atendidas para identificar recursos de alta demanda que estão faltando. Acompanhe quais capacidades existentes geram os resultados mais bem-sucedidos e identifique necessidades emergentes dos usuários antes que os concorrentes o façam.

O que você finalmente poderá responder:

  • Quais capacidades ausentes eliminariam o maior atrito para os usuários
  • Quais recursos de agente existentes geram o maior impacto nos negócios
  • Quais novos casos de uso estão surgindo a partir dos padrões de comportamento dos usuários
  • Onde concentrar os esforços de melhoria para obter o máximo de ROI

6. Que tipo de dados os usuários finais estão compartilhando com os agentes? 

Você pode ver que os usuários estão conversando com agentes, mas não sabe se estão compartilhando informações que podem criar problemas de conformidade (como dados de clientes, processos internos, informações competitivas ou detalhes pessoais). 

Se os usuários estiverem compartilhando informações altamente sensíveis, você precisa de salvaguardas adequadas para evitar futuros problemas regulatórios e de conformidade. Se você está implantando um novo agente de IA para sua equipe, você precisa monitorar: 

  • Se os usuários estão compartilhando PII, dados financeiros ou outras informações regulamentadas
  • Como o comportamento de compartilhamento de dados varia por função de usuário ou departamento
  • Quais tipos de conversa levam os usuários a compartilhar detalhes sensíveis
  • Se os usuários confiam suficientemente no seu agente para fornecer contexto em perguntas complexas

Acompanhe quais informações os usuários compartilham voluntariamente versus o que protegem, e identifique padrões de compartilhamento de dados entre diferentes funções de usuário, departamentos ou casos de uso.

Quando seus dados de software e IA vivem juntos, você pode entender o impacto total dos seus investimentos em IA. Pendo Agent Analytics é a primeira—e única—solução criada para ajudá-lo a fazer exatamente this. Solicite uma demonstração para saber mais sobre Agent Analytics.