Muitas empresas estão correndo para lançar agentes de IA. Mas apenas algumas delas conseguem responder à pergunta mais importante: os usuários estão realmente obtendo valor com eles?
As ferramentas tradicionais de observabilidade de IA podem dizer se o sistema respondeu. Elas mostram latência, contagem de tokens, chamadas de ferramentas e rastreamentos. Mas para equipes de produto, experiência digital e executivos, isso não é suficiente. Uma resposta tecnicamente bem-sucedida ainda pode representar uma experiência de usuário frustrada.
Seu agente de IA pode retornar uma resposta e ainda assim falhar com o usuário.
As equipes de produto já viram esse filme antes. Quando os usuários ficavam presos em uma interface tradicional, clicavam repetidamente no mesmo botão sem resposta. Chamávamos isso de rage clicks, e eles se tornaram um dos sinais de atrito mais úteis na análise de produto. Agora a interface está migrando de cliques para conversas, e os sinais de frustração estão mudando junto com ela.
Conheça o rage prompt.
O que é um rage prompt?
Um rage prompt é um prompt de usuário que sinaliza frustração, confusão ou falhas repetidas durante uma interação com um agente de IA.
Rage prompts show up in ways any product team will recognize:
They often fall into one of several key patterns:
Individualmente, são inconveniências. Em conjunto, são uma métrica. O Pendo Agent Analytics mede a taxa de rage prompts como o percentual de conversas que incluem pelo menos um prompt com fortes sinais de frustração. Esses sinais incluem palavrões, tentativas repetidas de concluir a mesma tarefa ou texto digitado inteiramente em letras maiúsculas.
Os rage prompts são importantes porque capturam algo que as métricas de sistema ignoram completamente: o usuário está lutando contra o agente em vez de ser ajudado por ele.
Por que os rage prompts são os novos rage clicks
Os rage clicks deram às equipes de produto uma forma de identificar os momentos em que os usuários ficavam presos em uma interface tradicional. Os rage prompts fazem o mesmo trabalho para interfaces conversacionais e agênticas. Quase todo sinal de atrito que você já acompanha tem um equivalente nativo de IA:
| Traditional product experience | AI agent experience |
|---|---|
| Rage clicks | Rage prompts |
| Dead clicks | Unsupported requests |
| Repeated navigation | Repeated prompts |
| Form abandonment | Prompt abandonment |
| Support escalation | Human escalation after agent failure |
| Session replay | Conversation replay plus session replay |
| Funnel drop-off | Prompt-to-resolution drop-off |
A lição de uma década de análise de produto ainda se aplica. Os usuários raramente abrem um chamado quando algo é confuso. Eles clicam com mais força e depois vão embora. Os agentes de IA comprimem todo esse ciclo em uma única janela de conversa. A frustração está bem ali na transcrição, se você estiver procurando por ela.
À medida que a interface muda de cliques para conversas, os sinais de frustração também mudam.
O ponto cego na observabilidade tradicional de IA
Para ser claro: a observabilidade tradicional de IA é necessária. Padronizar como as equipes capturam chamadas de modelo, contagens de tokens, prompts, conclusões e chamadas de ferramentas é importante para a visibilidade da infraestrutura, e as equipes de engenharia definitivamente devem rastrear essas informações.
Mas essas métricas por si só pintam um quadro incompleto. A telemetria pode responder a perguntas como:
- O modelo respondeu?
- Quanto tempo a resposta levou?
- Quantos tokens foram usados?
- Quais ferramentas foram chamadas?
- O agente cometeu um erro?
Ela não consegue responder completamente a outras perguntas, como:
- O usuário confiou na resposta?
- O usuário concluiu a tarefa?
- O usuário precisou se repetir?
- O usuário abandonou o fluxo de trabalho e voltou para a interface tradicional?
- O agente reduziu os chamados de suporte ou os criou?
- O agente melhorou a adoção e a retenção?
Essa segunda lista é onde os investimentos em IA têm sucesso ou fracassam. Os executivos querem ver se as pessoas usam os agentes que a empresa pagou para construir ou comprar, se os usuários confiam neles, se economizam tempo e se algum desses fatores aparece na ativação, retenção ou deflexão de suporte.
A observabilidade de IA até agora dizia o que o agente fez. Os dados de comportamento do usuário dizem se funcionou.
O volume de prompts por si só não prova o valor da IA. A intenção concluída sim. É por isso que os agentes de IA precisam de observabilidade de uso junto com a telemetria de infraestrutura: a camada de experiência é onde o desempenho técnico se transforma em resultados de negócios, ou não.
As métricas de agentes de IA que as equipes de produto devem acompanhar
Se a taxa de rage prompt é a métrica principal, ela funciona melhor em contexto. Aqui está o quadro mais completo que as equipes de produto devem observar:
| Metric | What it tells you |
|---|---|
| Rage prompt rate | Where users are frustrated with the agent |
| Unsupported request rate | What users want that the agent cannot currently handle |
| Issue rate | How often conversations contain a detected problem |
| Error rate | How often conversations hit a technical failure |
| Conversation depth | Whether longer interactions signal engagement or struggle |
| Repeat and refined prompts | Where the agent misunderstood, and how hard users work to be understood |
| Human escalation after agent use | Where self-service failed |
| Agent-assisted task completion | Whether AI helped users finish meaningful workflows |
| Agent adoption and retention by segment | Which audiences rely on the agent, and which avoid it |
| Feedback rate | Where users explicitly accept or reject agent responses |
| Agent-to-feature pathing | What users do before and after engaging with AI |
| Workflow speed, agentic vs. traditional | Whether the agent is actually faster than the old way |
Aqui vale a pena pausar para considerar a profundidade da conversa, pois ela é a métrica mais comumente mal interpretada nesta lista. Conversas longas podem indicar um usuário engajado explorando um agente capaz. Também podem indicar um usuário frustrado reformulando o mesmo pedido cinco vezes. A profundidade só se torna significativa quando combinada com sinais de frustração e resultados. Essa é a diferença entre medir o uso e medir o uso útil.
(Para um tratamento mais aprofundado sobre observabilidade e mensuração de IA, consulte o guia da Pendo sobre os KPIs essenciais para medir o desempenho de agentes de IA.)
O que os rage prompts revelam sobre o seu produto
Aqui está a parte que a maioria das equipes ignora: os prompts de raiva não são apenas sinais de falha do agente. Eles também são essenciais para a descoberta de produto.
Quando você agrupa prompts frustrados por tema, fluxo de trabalho e segmento, surgem padrões que apontam muito além do agente para problemas dentro do seu produto. Por exemplo:
- Documentação ausente ou insuficiente. Os usuários recorrem ao agente porque não conseguiram encontrar a resposta em nenhum outro lugar.
- Fluxos de trabalho confusos. O agente é solicitado a realizar tarefas que a interface dificulta.
- Lacunas na cobertura do agente. Solicitações não suportadas formam uma lista classificada do que os usuários desejam a seguir.
- Fontes de recuperação inadequadas. O agente responde com confiança a partir de conteúdo desatualizado ou incorreto.
- Terminologia pouco clara. Os usuários e o produto usam palavras diferentes para a mesma coisa.
- Necessidades de roadmap não atendidas. Solicitações repetidas de funcionalidades que ainda não existem são pesquisa gratuita de voz do cliente.
Um pico em prompts de frustração em torno de um fluxo de trabalho específico raramente é apenas um problema de modelo. É um mapa de onde a experiência do seu produto e as expectativas dos seus usuários divergem.
Como reduzir os rage prompts
A detecção de rage prompts é apenas o começo. O objetivo, claro, é reduzi-los e melhorar seu produto no processo. Aqui está um ciclo prático para transformar rage prompts em melhorias:
1. Agrupe os principais temas de prompts de frustração. Agrupe os prompts frustrados por tópico, fluxo de trabalho, persona e segmento de conta. Cinco prompts irritados sobre a mesma tarefa formam um padrão.
2. Separe problemas do agente de problemas do produto. Nem todo prompt de raiva significa que o modelo é ruim. Às vezes, o fluxo de trabalho subjacente é confuso e o agente é simplesmente onde a frustração se manifesta. Observar a sessão junto com a conversa torna a diferença óbvia. Combinar Session Replay com dados de conversa mostra o que o usuário estava fazendo quando a interação deu errado.
3. Corrija lacunas de cobertura do agente. Use solicitações não suportadas e prompts repetidos para priorizar onde o agente precisa de melhores instruções, fontes de recuperação, ferramentas ou fluxos de trabalho.
4. Oriente os usuários no momento certo. Quando os usuários enfrentam dificuldades com a mesma tarefa repetidamente, orientações no aplicativo podem resolver o atrito antes que ele se torne um prompt de frustração ou um ticket de suporte.
5. Compare fluxos de trabalho agênticos e tradicionais. Se os usuários abandonam o agente e concluem a tarefa manualmente, o agente está gerando atrito. Medir o tempo de conclusão da tarefa em ambos os caminhos resolve o debate com dados.
6. Acompanhe a tendência, não o instantâneo. Monitore a taxa de prompts de frustração, a taxa de solicitações não suportadas, a conclusão de tarefas e o feedback após cada alteração significativa no agente. O objetivo não é apenas observar falhas de IA, mas fechar o ciclo e melhorar a experiência.
Como o Pendo ajuda as equipes a entender as experiências com agentes de IA
Tudo o que foi descrito acima requer ver a conversa do agente e o comportamento do produto ao redor em um único lugar. É para isso que o Pendo Agent Analytics foi criado.
Com o Agent Analytics, as equipes podem:
- Analise conversas e prompts para ver o que os usuários perguntam, segmentado por caso de uso, conta e tipo de usuário
- Detecte rage prompts automaticamente, com taxa de rage prompt, taxa de problemas, taxa de solicitações não suportadas e taxa de erros rastreadas ao longo do tempo
- Veja o que aconteceu ao redor da conversa com o Session Replay, onde as interações dos agentes são anotadas diretamente na linha do tempo da reprodução
- Conecte agentes à jornada completa usando eventos de agentes de IA em relatórios de caminhos, funis e aderência, juntamente com análise de produto
- Compare versões de agentes com experimentos para medir como mudanças em modelos, ferramentas ou configurações afetam métricas-chave
- Comprove o impacto nos negócios vinculando o uso do agente à retenção, conclusão de tarefas e velocidade do fluxo de trabalho em comparação com a UI tradicional
A próxima era da observabilidade de IA será medida não apenas pelo desempenho dos agentes, mas pelo sucesso dos usuários. As empresas que vencerem com agentes de IA detectarão atritos, compreenderão o comportamento dos usuários e conectarão as interações dos agentes aos resultados de negócios.
Veja como o Pendo Agent Analytics ajuda você a detectar prompts de frustração, entender a adoção de agentes de IA e conectar as interações dos agentes a resultados reais do produto. Solicite uma demonstração.
