Muchas empresas están compitiendo por lanzar agentes de IA. Pero solo unas pocas pueden responder la pregunta que más importa: ¿Los usuarios realmente están obteniendo valor de ellos?
Las herramientas tradicionales de observabilidad de IA pueden decirte si el sistema respondió. Pueden mostrarte latencia, conteos de tokens, llamadas a herramientas y trazas. Pero para los equipos de producto, experiencia digital y ejecutivos, eso no es suficiente. Una respuesta técnicamente exitosa puede seguir siendo una experiencia de usuario fallida.
Tu agente de IA puede devolver una respuesta y aun así fallarle al usuario.
Los equipos de producto ya han visto esta película antes. Cuando los usuarios se quedaban atascados en una interfaz tradicional, hacían clic en el mismo botón sin respuesta una y otra vez. A eso lo llamamos clics de rabia, y se convirtieron en una de las señales de fricción más útiles en el análisis de productos. Ahora la interfaz está pasando de los clics a las conversaciones, y las señales de frustración están cambiando con ella.
Conoce el prompt de rabia.
¿Qué es un rage prompt?
Un rage prompt es un mensaje de usuario que indica frustración, confusión o fallos repetidos durante una interacción con un agente de IA.
Rage prompts show up in ways any product team will recognize:
They often fall into one of several key patterns:
De forma individual, son molestias. En conjunto, son una métrica. Pendo Agent Analytics mide la tasa de rage prompts como el porcentaje de conversaciones que incluyen al menos un mensaje con señales claras de frustración. Estas señales incluyen lenguaje ofensivo, intentos repetidos de completar la misma tarea o texto escrito completamente en mayúsculas.
Los rage prompts son importantes porque capturan algo que las métricas del sistema pasan por alto por completo: el usuario está luchando contra el agente en lugar de recibir su ayuda.
Por qué los rage prompts son los nuevos rage clicks
Los rage clicks dieron a los equipos de producto una forma de identificar los momentos en que los usuarios se quedaban atascados en una interfaz de usuario tradicional. Los rage prompts cumplen la misma función en las interfaces conversacionales y agénticas. Casi todas las señales de fricción que ya rastrean tienen un equivalente nativo de IA:
| Traditional product experience | AI agent experience |
|---|---|
| Rage clicks | Rage prompts |
| Dead clicks | Unsupported requests |
| Repeated navigation | Repeated prompts |
| Form abandonment | Prompt abandonment |
| Support escalation | Human escalation after agent failure |
| Session replay | Conversation replay plus session replay |
| Funnel drop-off | Prompt-to-resolution drop-off |
La lección de una década de análisis de productos sigue siendo válida. Los usuarios rara vez abren un ticket cuando algo les resulta confuso. Hacen clic con más fuerza y luego se van. Los agentes de IA comprimen todo ese ciclo en una sola ventana de conversación. La frustración está justo ahí en la transcripción, si sabes dónde buscarla.
A medida que la interfaz pasa de los clics a las conversaciones, las señales de frustración también cambian.
El punto ciego en la observabilidad tradicional de la IA
Para ser claros: la observabilidad tradicional de la IA es necesaria. Estandarizar la forma en que los equipos capturan llamadas al modelo, conteos de tokens, prompts, completaciones y llamadas a herramientas es importante para la visibilidad de la infraestructura, y los equipos de ingeniería definitivamente deben hacer seguimiento de estos datos.
Pero esas métricas por sí solas ofrecen una imagen incompleta. La telemetría puede responder preguntas como:
- ¿El modelo respondió?
- ¿Cuánto tardó la respuesta?
- ¿Cuántos tokens se utilizaron?
- ¿Qué herramientas se invocaron?
- ¿El agente cometió un error?
Pero no puede responder completamente otras preguntas, como:
- ¿El usuario confió en la respuesta?
- ¿El usuario completó la tarea?
- ¿El usuario tuvo que repetirse?
- ¿El usuario abandonó el flujo de trabajo y volvió a la interfaz tradicional?
- ¿El agente redujo los tickets de soporte o los generó?
- ¿El agente mejoró la adopción y la retención?
Esa segunda lista es donde las inversiones en IA tienen éxito o fracasan. Los ejecutivos quieren saber si las personas usan los agentes que la empresa pagó para construir o adquirir, si los usuarios confían en ellos, si ahorran tiempo y si algo de eso se refleja en la activación, la retención o la deflexión de soporte.
La observabilidad de la IA hasta ahora te ha dicho lo que hizo el agente. Los datos de comportamiento del usuario te dicen si funcionó.
El volumen de prompts por sí solo no demuestra el valor de la IA. Lo que lo demuestra es la intención completada. Por eso los agentes de IA necesitan observabilidad de uso junto con la telemetría de infraestructura: la capa de experiencia es donde el rendimiento técnico se convierte en resultados de negocio, o no.
Las métricas de agentes de IA que los equipos de producto deben rastrear
Si la tasa de prompts de frustración es la métrica principal, funciona mejor en contexto. Aquí está el panorama más completo que los equipos de producto deberían estar observando:
| Metric | What it tells you |
|---|---|
| Rage prompt rate | Where users are frustrated with the agent |
| Unsupported request rate | What users want that the agent cannot currently handle |
| Issue rate | How often conversations contain a detected problem |
| Error rate | How often conversations hit a technical failure |
| Conversation depth | Whether longer interactions signal engagement or struggle |
| Repeat and refined prompts | Where the agent misunderstood, and how hard users work to be understood |
| Human escalation after agent use | Where self-service failed |
| Agent-assisted task completion | Whether AI helped users finish meaningful workflows |
| Agent adoption and retention by segment | Which audiences rely on the agent, and which avoid it |
| Feedback rate | Where users explicitly accept or reject agent responses |
| Agent-to-feature pathing | What users do before and after engaging with AI |
| Workflow speed, agentic vs. traditional | Whether the agent is actually faster than the old way |
Aquí vale la pena detenerse a considerar la profundidad de la conversación, ya que es la métrica más comúnmente malinterpretada de esta lista. Las conversaciones largas pueden indicar un usuario comprometido que explora un agente capaz. También pueden indicar un usuario frustrado que reformula la misma solicitud cinco veces. La profundidad solo adquiere significado cuando se combina con señales de frustración y resultados. Esa es la diferencia entre medir el uso y medir el uso útil.
(Para un tratamiento más profundo de la observabilidad y la medición de la IA, consulta la guía de Pendo sobre los KPIs esenciales para medir el rendimiento de los agentes de IA.)
Lo que los rage prompts revelan sobre tu producto
Aquí está la parte que la mayoría de los equipos pasa por alto: los rage prompts no son solo señales de fallo del agente. También son esenciales para el descubrimiento de producto.
Cuando agrupas los prompts frustrados por tema, flujo de trabajo y segmento, emergen patrones que apuntan mucho más allá del agente hacia problemas dentro de tu producto. Por ejemplo:
- Documentación faltante o deficiente. Los usuarios consultan al agente porque no pudieron encontrar la respuesta en ningún otro lugar.
- Flujos de trabajo confusos. Se le pide al agente que realice tareas que la interfaz de usuario dificulta.
- Brechas en la cobertura del agente. Las solicitudes no admitidas conforman una lista clasificada de lo que los usuarios desean a continuación.
- Fuentes de recuperación deficientes. El agente responde con confianza a partir de contenido desactualizado o incorrecto.
- Terminología poco clara. Los usuarios y el producto utilizan palabras diferentes para referirse a lo mismo.
- Necesidades del roadmap no satisfechas. Las solicitudes repetidas de funcionalidades que aún no existen son investigación gratuita de la voz del cliente.
Un aumento repentino en los mensajes de frustración en torno a un flujo de trabajo específico rara vez es solo un problema del modelo. Es un mapa de dónde divergen la experiencia de tu producto y las expectativas de tus usuarios.
Cómo reducir los rage prompts
La detección de rage prompts es solo el comienzo. El objetivo, por supuesto, es reducirlos y mejorar tu producto en el proceso. Aquí hay un ciclo práctico para convertir los rage prompts en mejoras:
1. Agrupa los temas principales de prompts de frustración. Agrupa los prompts frustrados por tema, flujo de trabajo, persona y segmento de cuenta. Cinco prompts enojados sobre la misma tarea son un patrón.
2. Separa los problemas del agente de los problemas del producto. No todo prompt de frustración significa que el modelo es malo. A veces el flujo de trabajo subyacente es confuso y el agente es simplemente donde aflora la frustración. Ver la sesión junto con la conversación hace que la diferencia sea obvia. Combinar Session Replay con datos de conversación muestra qué estaba haciendo el usuario cuando la interacción salió mal.
3. Corrija las brechas de cobertura del agente. Use las solicitudes no admitidas y los prompts repetidos para priorizar dónde el agente necesita mejores instrucciones, fuentes de recuperación, herramientas o flujos de trabajo.
4. Guía a los usuarios en el momento. Cuando los usuarios tienen dificultades con la misma tarea repetidamente, la orientación en la aplicación puede resolver la fricción antes de que se convierta en un mensaje de frustración o un ticket de soporte.
5. Compare los flujos de trabajo agénticos y los tradicionales. Si los usuarios abandonan el agente y completan la tarea manualmente, el agente está generando fricción. Medir el tiempo de finalización de tareas en ambas rutas resuelve el debate con datos.
6. Monitorea la tendencia, no la instantánea. Supervisa la tasa de prompts de frustración, la tasa de solicitudes no admitidas, la finalización de tareas y los comentarios después de cada cambio significativo en el agente. El objetivo no es solo observar los fallos de la IA, sino cerrar el ciclo y mejorar la experiencia.
Cómo Pendo ayuda a los equipos a comprender las experiencias con agentes de IA
Todo lo descrito anteriormente requiere ver la conversación del agente y el comportamiento del producto circundante en un solo lugar. Para eso fue creado Pendo Agent Analytics.
Con Agent Analytics, los equipos pueden:
- Analiza conversaciones y prompts para ver qué preguntan los usuarios, segmentados por caso de uso, cuenta y tipo de usuario
- Detecta rage prompts automáticamente, con la tasa de rage prompts, tasa de problemas, tasa de solicitudes no admitidas y tasa de errores rastreadas a lo largo del tiempo
- Observa lo que ocurrió alrededor de la conversación con Session Replay, donde las interacciones de los agentes se anotan directamente en la línea de tiempo de la reproducción
- Conecta los agentes al recorrido completo usando eventos de agentes de IA en informes de rutas, embudos y retención, junto con análisis de producto
- Compara versiones de agentes con experimentos para medir cómo los cambios en modelos, herramientas o configuración afectan las métricas clave
- Demuestra el impacto empresarial vinculando el uso del agente con la retención, la finalización de tareas y la velocidad del flujo de trabajo en comparación con la interfaz de usuario tradicional
La próxima era de la observabilidad de la IA no solo se medirá por el rendimiento de los agentes, sino por el éxito de los usuarios. Las empresas que triunfen con los agentes de IA detectarán la fricción, comprenderán el comportamiento de los usuarios y conectarán las interacciones de los agentes con los resultados del negocio.
Descubre cómo Pendo Agent Analytics te ayuda a detectar prompts de frustración, comprender la adopción de agentes de IA y conectar las interacciones de los agentes con resultados reales del producto. Solicita una demo.
