Viele Unternehmen beeilen sich, KI-Agenten auf den Markt zu bringen. Aber nur wenige von ihnen können die entscheidende Frage beantworten: Profitieren die Nutzer tatsächlich davon?
Herkömmliche KI-Observability-Tools können Ihnen sagen, ob das System geantwortet hat. Sie zeigen Ihnen Latenz, Token-Anzahl, Tool-Aufrufe und Traces. Für Produkt-, Digital-Experience- und Führungsteams reicht das jedoch nicht aus. Eine technisch erfolgreiche Antwort kann dennoch eine gescheiterte Nutzererfahrung sein.
Ihr KI-Agent kann eine Antwort liefern und den Nutzer trotzdem im Stich lassen.
Produktteams kennen dieses Muster bereits. Wenn Nutzer in einer herkömmlichen Oberfläche nicht weiterkamen, klickten sie immer wieder auf denselben toten Button. Wir nannten das Rage-Clicks, und sie wurden zu einem der nützlichsten Reibungssignale in der Produktanalyse. Jetzt verlagert sich die Oberfläche von Klicks zu Konversationen – und die Frustrationssignale verlagern sich mit ihr.
Lernen Sie den Rage-Prompt kennen.
Was ist ein Rage-Prompt?
Ein Rage-Prompt ist eine Nutzereingabe, die Frustration, Verwirrung oder wiederholtes Scheitern bei der Interaktion mit einem KI-Agenten signalisiert.
Rage prompts show up in ways any product team will recognize:
They often fall into one of several key patterns:
Einzeln betrachtet sind das Ärgernisse. In der Gesamtheit sind sie eine Kennzahl. Pendo Agent Analytics misst die Rage-Prompt-Rate als den Prozentsatz der Gespräche, die mindestens einen Prompt mit starken Frustrationssignalen enthalten. Zu diesen Signalen gehören Schimpfwörter, wiederholte Versuche, dieselbe Aufgabe zu erledigen, oder in Großbuchstaben eingegebener Text.
Rage-Prompts sind wichtig, weil sie etwas erfassen, das Systemmetriken völlig übersehen: Der Nutzer kämpft gegen den Agenten, anstatt von ihm unterstützt zu werden.
Warum Rage-Prompts die neuen Rage-Clicks sind
Rage-Clicks gaben Produktteams eine Möglichkeit, die Momente zu finden, in denen Nutzer in einer herkömmlichen Benutzeroberfläche feststeckten. Rage-Prompts erfüllen dieselbe Aufgabe für konversationelle und agentische Schnittstellen. Fast jedes Reibungssignal, das Sie bereits verfolgen, hat ein KI-natives Äquivalent:
| Traditional product experience | AI agent experience |
|---|---|
| Rage clicks | Rage prompts |
| Dead clicks | Unsupported requests |
| Repeated navigation | Repeated prompts |
| Form abandonment | Prompt abandonment |
| Support escalation | Human escalation after agent failure |
| Session replay | Conversation replay plus session replay |
| Funnel drop-off | Prompt-to-resolution drop-off |
Die Lektion aus einem Jahrzehnt Produktanalyse gilt nach wie vor. Nutzer reichen selten ein Ticket ein, wenn etwas verwirrend ist. Sie klicken fester, dann verlassen sie die Seite. KI-Agenten komprimieren diesen gesamten Zyklus in ein einziges Gesprächsfenster. Die Frustration steckt direkt im Transkript – wenn man danach sucht.
Da sich die Schnittstelle von Klicks zu Gesprächen verlagert, verschieben sich auch die Frustrationssignale.
Der blinde Fleck in der traditionellen KI-Observability
Um es klar zu sagen: Traditionelle KI-Observability ist notwendig. Es ist wichtig zu standardisieren, wie Teams Modellaufrufe, Token-Anzahlen, Prompts, Vervollständigungen und Tool-Aufrufe erfassen – Engineering-Teams sollten diese Daten unbedingt verfolgen.
Aber diese Metriken allein zeichnen ein unvollständiges Bild. Telemetrie kann Fragen beantworten wie:
- Hat das Modell geantwortet?
- Wie lange hat die Antwort gedauert?
- Wie viele Tokens wurden verwendet?
- Welche Tools wurden aufgerufen?
- Hat der Agent einen Fehler begangen?
Sie kann andere Fragen nicht vollständig beantworten, wie zum Beispiel:
- Hat der Nutzer der Antwort vertraut?
- Hat der Nutzer die Aufgabe abgeschlossen?
- Musste der Nutzer sich wiederholen?
- Hat der Nutzer den Workflow abgebrochen und ist zur traditionellen Benutzeroberfläche zurückgekehrt?
- Hat der Agent Support-Tickets reduziert oder erzeugt?
- Hat der Agent die Akzeptanz und Bindung verbessert?
Die zweite Liste entscheidet darüber, ob KI-Investitionen erfolgreich sind oder scheitern. Führungskräfte möchten sehen, ob die Mitarbeiter die Agenten nutzen, die das Unternehmen gebaut oder gekauft hat, ob Nutzer ihnen vertrauen, ob sie Zeit sparen und ob sich das in Aktivierung, Bindung oder der Reduzierung von Support-Anfragen niederschlägt.
KI-Observability hat bisher gezeigt, was der Agent getan hat. Nutzerverhaltensdaten zeigen, ob es funktioniert hat.
Prompt-Volumen allein beweist keinen KI-Wert. Abgeschlossene Absichten schon. Deshalb benötigen KI-Agenten Usage Observability neben der Infrastruktur-Telemetrie: Die Erfahrungsebene ist der Ort, an dem technische Leistung zu Geschäftsergebnissen wird – oder eben nicht.
Die KI-Agenten-Metriken, die Produktteams verfolgen sollten
Wenn die Rage-Prompt-Rate die Hauptmetrik ist, funktioniert sie am besten im Kontext. Hier ist das vollständigere Bild, das Produktteams im Blick behalten sollten:
| Metric | What it tells you |
|---|---|
| Rage prompt rate | Where users are frustrated with the agent |
| Unsupported request rate | What users want that the agent cannot currently handle |
| Issue rate | How often conversations contain a detected problem |
| Error rate | How often conversations hit a technical failure |
| Conversation depth | Whether longer interactions signal engagement or struggle |
| Repeat and refined prompts | Where the agent misunderstood, and how hard users work to be understood |
| Human escalation after agent use | Where self-service failed |
| Agent-assisted task completion | Whether AI helped users finish meaningful workflows |
| Agent adoption and retention by segment | Which audiences rely on the agent, and which avoid it |
| Feedback rate | Where users explicitly accept or reject agent responses |
| Agent-to-feature pathing | What users do before and after engaging with AI |
| Workflow speed, agentic vs. traditional | Whether the agent is actually faster than the old way |
Hier lohnt es sich, kurz innezuhalten und über die Konversationstiefe nachzudenken, da sie die am häufigsten falsch interpretierte Kennzahl auf dieser Liste ist. Lange Gespräche können auf einen engagierten Nutzer hinweisen, der einen leistungsfähigen Agenten erkundet. Sie können aber auch einen frustrierten Nutzer bedeuten, der dieselbe Anfrage fünfmal umformuliert. Die Tiefe wird erst dann aussagekräftig, wenn man sie mit Frustrationssignalen und Ergebnisse. Das ist der Unterschied zwischen der Messung von Nutzung und der Messung von nützlicher Nutzung.
(Eine ausführlichere Behandlung von KI-Observability und -Messung finden Sie in Pendos Leitfaden zu den wesentlichen KPIs zur Messung der KI-Agentenleistung.)
Was Rage-Prompts über Ihr Produkt verraten
Hier ist der Teil, den die meisten Teams übersehen: Rage-Prompts sind nicht nur Signale für das Versagen eines Agenten. Sie sind auch unverzichtbar für die Produktentdeckung.
Wenn Sie frustrierte Prompts nach Thema, Workflow und Segment gruppieren, entstehen Muster, die weit über den Agenten hinaus auf Probleme in Ihrem Produkt hinweisen. Zum Beispiel:
- Fehlende oder unzureichende Dokumentation. Nutzer fragen den Agenten, weil sie die Antwort nirgendwo anders finden konnten.
- Unübersichtliche Workflows. Der Agent wird gebeten, Dinge zu tun, die die Benutzeroberfläche erschwert.
- Lücken in der Agentenabdeckung. Nicht unterstützte Anfragen sind eine priorisierte Liste dessen, was Nutzer als Nächstes möchten.
- Schlechte Abrufquellen. Der Agent antwortet selbstsicher auf Basis veralteter oder falscher Inhalte.
- Unklare Terminologie. Benutzer und das Produkt verwenden unterschiedliche Begriffe für dieselbe Sache.
- Nicht erfüllte Roadmap-Anforderungen. Wiederholte Anfragen nach noch nicht vorhandenen Funktionen sind kostenlose Voice-of-Customer-Forschung.
Ein Anstieg von Frustrations-Prompts rund um einen bestimmten Workflow ist selten nur ein Modellproblem. Es ist eine Karte, die zeigt, wo Ihre Produkterfahrung und die Erwartungen Ihrer Nutzer auseinandergehen.
So reduzieren Sie Rage-Prompts
Die Erkennung von Rage-Prompts ist nur der Anfang. Das eigentliche Ziel ist natürlich, sie zu reduzieren und Ihr Produkt dabei zu verbessern. Hier ist ein praktischer Kreislauf, um Rage-Prompts in Verbesserungen umzuwandeln:
1. Die häufigsten Themen frustrierter Prompts clustern. Gruppieren Sie frustrierte Prompts nach Thema, Workflow, Persona und Kontosegment. Fünf verärgerte Prompts zur selben Aufgabe sind ein Muster.
2. Agent-Probleme von Produktproblemen trennen. Nicht jede Rage-Eingabe bedeutet, dass das Modell schlecht ist. Manchmal ist der zugrunde liegende Workflow verwirrend, und der Agent ist lediglich der Ort, an dem die Frustration sichtbar wird. Das gleichzeitige Ansehen der Sitzung und des Gesprächs macht den Unterschied deutlich. Die Kombination von Session Replay mit Gesprächsdaten zeigt, was der Benutzer gerade tat, als die Interaktion schiefgelaufen ist.
3. Lücken in der Agent-Abdeckung schließen. Nutzen Sie nicht unterstützte Anfragen und wiederholte Eingaben, um zu priorisieren, wo der Agent bessere Anweisungen, Abrufquellen, Tools oder Workflows benötigt.
4. Benutzer im richtigen Moment begleiten. Wenn Benutzer immer wieder mit derselben Aufgabe kämpfen, kann In-App-Guidance die Reibung beseitigen, bevor sie zu einem Rage-Prompt oder einem Support-Ticket wird.
5. Vergleichen Sie agentische und traditionelle Workflows. Wenn Nutzer den Agenten abbrechen und die Aufgabe manuell erledigen, erzeugt der Agent Reibung. Die Messung der Aufgabenerledigungszeit auf beiden Wegen klärt die Debatte mit Daten.
6. Den Trend verfolgen, nicht den Schnappschuss. Überwachen Sie die Rate der Rage-Prompts, die Rate nicht unterstützter Anfragen, den Aufgabenabschluss und das Feedback nach jeder wesentlichen Änderung am Agenten. Das Ziel besteht nicht nur darin, KI-Fehler zu beobachten, sondern den Kreislauf zu schließen und die Erfahrung zu verbessern.
Wie Pendo Teams dabei hilft, KI-Agenten-Erfahrungen zu verstehen
Alles oben Beschriebene erfordert, dass man das Agentengespräch und das umgebende Produktverhalten an einem Ort sieht. Genau dafür wurde Pendo Agent Analytics entwickelt.
Mit Agent Analytics können Teams:
- Konversationen und Prompts analysieren, um zu sehen, was Benutzer fragen, segmentiert nach Anwendungsfall, Konto und Benutzertyp
- Rage-Prompts automatisch erkennen, mit Rage-Prompt-Rate, Problemrate, Rate nicht unterstützter Anfragen und Fehlerrate, die im Zeitverlauf verfolgt werden
- Beobachten Sie, was rund um das Gespräch passiert ist – mit Session Replay, bei dem Agenten-Interaktionen direkt in der Replay-Zeitleiste annotiert werden
- Agenten mit der gesamten Journey verbinden, indem KI-Agenten-Ereignisse in Pfaden, Trichtern und Stickiness-Berichten zusammen mit Produktanalysen verwendet werden
- Agent-Versionen mit Experimenten vergleichen, um zu messen, wie sich Änderungen an Modellen, Tools oder der Konfiguration auf wichtige Kennzahlen auswirken
- Geschäftlichen Nutzen nachweisen, indem die Agent-Nutzung mit Bindungsrate, Aufgabenabschluss und Workflow-Geschwindigkeit im Vergleich zur herkömmlichen Benutzeroberfläche verknüpft wird
Die nächste Ära der KI-Observability wird nicht nur daran gemessen, wie Agenten performen, sondern daran, wie erfolgreich Nutzer sind. Die Unternehmen, die mit KI-Agenten erfolgreich sind, werden Reibungspunkte erkennen, das Nutzerverhalten verstehen und Agenten-Interaktionen mit Geschäftsergebnissen verknüpfen.
Erfahren Sie, wie Pendo Agent Analytics Ihnen hilft, Rage-Prompts zu erkennen, die Einführung von KI-Agenten zu verstehen und Agenteninteraktionen mit echten Produktergebnissen zu verknüpfen. Demo anfordern.
