Ihre konversationellen KI-Agenten sind einsatzbereit. Aber dann fragt jemand: „Helfen sie unseren Nutzern wirklich?" Wir haben Pendo Agent Analytics entwickelt, um mithilfe von Echtzeit-Daten Klarheit über den Mehrwert zu schaffen, den Agenten liefern – für unsere Kunden und für uns selbst.
Mit Agent Analytics können Sie sehen:
- Was Nutzer Ihren Agenten fragen (kategorisiert nach den häufigsten Anwendungsfällen)
- Was Nutzer vor und nach Interaktionen mit dem Agenten tun
- Welche Gespräche Geschäftsergebnisse fördern oder Reibungspunkte erzeugen
Immer wenn wir ein neues Pendo-Produkt oder -Feature entwickeln, sind wir gespannt, es selbst zu testen. Und da wir in Pendo immer mehr KI-Agenten einführen – wie Listen Explore und Agent Mode – wird Agent Analytics bei unseren Produktverantwortlichen schnell zum Lieblingstool.
Alle Ihre Fragen zur Wirkung von Agenten beantwortet
Alejandro Dao, leitender Produktmanager bei Pendo, nutzt Agent Analytics, um sofortige Einblicke zu erhalten, wie Teams die neue KI-gestützte Guide-Erstellungsfunktion verwenden – eine neue Ergänzung im Rahmen unseres Herbst-Releases. Mit dieser Funktion können Nutzer einen einfachen Text-Prompt in Sekundenschnelle in einen ansprechenden, markenkonformen In-App-Guide verwandeln. (Erfahren Sie mehr über das KI-Guide-Feature hier.)
Während des Entwicklungsprozesses nutzte Dao konsequent Agent Analytics, um Erkenntnisse zu gewinnen, während interne Teams und Design-Partner die Lösung verwendeten. Folgendes hat er dabei gelernt:
Da Agent Analytics Gesprächselemente aus einem Agenten extrahieren und in einem Bericht aufbereiten kann, nutzte Dao diese Berichte, um zu sehen, wer die Funktion verwendete, wer sie am häufigsten nutzte und – am wichtigsten – welche Anwendungsfälle dabei entstanden.
Indem er regelmäßig die häufigsten Anfragen der Nutzer an den Guide-Agenten beobachtete, entdeckte Dao einen gewünschten Anwendungsfall, der ursprünglich nicht geplant war: die Möglichkeit, ein Video in den Guide einzufügen. Obwohl der Agent diese Funktion noch nicht besitzt, ermöglichte die datengestützte Erkenntnis dem Team, sie mit Zuversicht in zukünftigen Roadmap-Entscheidungen zu priorisieren. In der Zwischenzeit hat das Team besser kommuniziert, was mit der Funktion bereits möglich ist und was (noch) nicht, damit Nutzer nicht frustriert werden und ihre Bemühungen aufgeben.
Nicht gemeldete Nutzerfrustration mit Agent Insights identifizieren
Dao machte eine weitere wichtige Entdeckung über die KI-gestützte Guide-Erstellung, indem er Agent Analytics mit Session Replay kombinierte.
Mithilfe von Session Replay erhielt er visuellen Kontext zu Dead Clicks, die im KI-gesteuerten Guide-Erstellungsprozess auftraten. Dao beobachtete wiederholte Versuche von Nutzern, den Inline-Text zu bearbeiten. Dao hatte vermutet, dass dies ein Problem sein könnte, doch es hatte keine Priorität in der Produkt-Roadmap, und kein Design-Partner hatte es als Problem gemeldet. Diesen Anwendungsfall immer wieder aus erster Hand zu sehen, gab Dao das nötige Vertrauen und die Autorität, ihn zu einer unmittelbareren Engineering-Priorität zu machen.
Ohne die Daten aus Agent Analytics wäre Pendos Produktteam auf gelegentliches, freiwilliges Nutzerfeedback und Vermutungen angewiesen. Stattdessen erhalten Teams wie das von Dao in Sekunden detaillierte Einblicke – ohne aufwendige Berichtserstellung und ohne zahllose Kundengespräche einplanen zu müssen, um die Stimme ihrer Nutzer zu verstehen. Wie Dao es ausdrückt: „Agent Analytics ersetzt keine soliden Produktgrundlagen. Aber es wirkt als Beschleuniger oder Verstärker der eigenen Fähigkeiten."
Agenten sprechen – hören Sie zu?
Der entscheidende Schritt bei KI-Initiativen ist jetzt die Messung der Wirksamkeit. In Ihren Agenten steckt eine Fülle von Daten zu Nutzerabsichten, Frustration und Risiken. Sind Sie bereit, für bessere Nutzerergebnisse zu optimieren?
Machen Sie eine Tour durch Agent Analytics und entdecken Sie, was möglich ist.
