Dies ist die Frage, die Tech-Führungskräfte nachts wachhält. Nachdem Millionen in KI-Tools investiert wurden, kratzen sich Produkt- und IT-Teams nun am Kopf und versuchen, die geschäftlichen Auswirkungen dieser Investitionen zu ermitteln. 

Dieses Problem ist nicht neu: Software-Entwickler und -Käufer haben schon lange versucht zu verstehen, was Nutzer in der App tun, wie sie sich dabei fühlen und ob diese Bemühungen sich auszahlen. Jetzt verändern generative KI und Agenten die Art und Weise, wie Teams den Erfolg von Software messen. Es geht weniger darum, Klicks, Abbrüche und auf Seiten verbrachte Zeit zu messen, sondern mehr darum, welche Art von Ergebnissen diese Agenten steuern können. 

Der einzige Weg, die Agentenleistung zu verstehen, besteht darin, Nutzungsdaten mit dem zu verknüpfen, was Benutzer als Nächstes tun. Hier sind sechs Fragen, die Sie Ihren KI-Agentendaten stellen sollten, und was sie bedeuten. 

1. Warum interagieren Nutzer mit meinem KI-Agenten?

Wenn Sie verstehen, warum Nutzer mit Agenten interagieren, können Sie Erfolge reproduzieren und Schwachstellen beheben. Wenn Nutzer Agenten nur dann nutzen, wenn sie mit Ihrem herkömmlichen SaaS-Produkt frustriert sind, ist das ein UX-Problem und kein KI-Erfolg. Wenn sie jedoch Agenten dem menschlichen Support vorziehen, weil es schneller geht, ist das ein positives Zeichen.

Um die Absicht zu verstehen, analysieren Sie die wichtigsten Anwendungsfälle, das Gesprächsvolumen und den Benutzerkontext. Verfolgen Sie, was Benutzer vor einem Agent-Gespräch getan haben, welche alternativen Wege ihnen zur Verfügung standen und wie sich ihre Engagement-Muster über Benutzersegmente und Anwendungsfälle hinweg unterscheiden.

Sie werden in der Lage sein, Folgendes zu identifizieren: 

  • Ob Nutzer Agenten zuerst wählen oder erst als letzten Ausweg auf sie zurückgreifen
  • Wie sich Interaktionsmuster zwischen Power-Usern und Neueinsteigern unterscheiden
  • Welche Anwendungsfälle mit Ihren am stärksten und am wenigsten engagierten Nutzern zusammenhängen

2. Erreichen Nutzer ihre beabsichtigten Ziele? 

KI-Agenten melden Konversationsvolumen, aber nicht, ob Nutzer ihre Ziele erreicht haben. Um diese Frage zu beantworten, benötigen Sie Einblick in das, was Nutzer tun, nachdem sie in Ihrer App mit Ihren KI-Agenten interagiert haben.

Um dies herauszufinden, verfolgen Sie die gesamte Journey – von der Vorinteraktion über die Agent-Eingabeaufforderung bis hin zum Geschäftsergebnis. Was hat Nutzer dazu veranlasst, sich überhaupt mit Ihrem Support-Agenten zu beschäftigen? Sehen Sie, wann Gespräche erfolgreich enden und wann Nutzer aus Frustration aufgeben. Und stellen Sie sicher, dass Sie das nachgelagerte Verhalten messen: Schließen sie Käufe ab, beenden sie das Onboarding oder zu Ihrem Produkt zurückkehren? 

Das Verständnis der nachgelagerten Auswirkungen von Agenten hilft Ihnen auch dabei, folgende Fragen zu beantworten: 

  • Welche Anwendungsfälle führen zu erfolgreichen Ergebnissen und welche zu schlechten, wie Sackgassen, zusätzliche Support-Tickets, frustrierte Eingaben und negatives Feedback
  • Wie die Aufgabenerfüllung je nach Nutzersegment, Anwendungsfall oder Komplexität einer Anfrage variiert
  • Ob Agent-Interaktionen die Bindung, das Engagement, die Nutzungsintensität und die Akzeptanz fördern oder beeinträchtigen

3. Welche Arten von Agent-Interaktionen treiben Geschäftsergebnisse voran? 

Um effektiv in Ihre KI-Roadmap zu investieren, müssen Sie wissen, wie Agenten Ihnen helfen, Umsatz zu steigern, Kosten zu senken und Risiken zu reduzieren. Das bedeutet, Sie benötigen Einblick in die wichtigsten Anwendungsfälle sowie die nachgelagerten Auswirkungen, um das, was funktioniert, auszubauen und das, was nicht funktioniert, zu beheben. 

Um diese Frage zu beantworten, analysieren Sie Gespräche nach Anwendungsfall. Verfolgen Sie, welche Art von Gespräch mit Konversionen, Feature-Adoption, Nutzerexpansion oder Abwanderung korreliert. Welche Gespräche weisen die höchste Kundenbindung und den damit verbundenen ARR auf? Welche Gespräche sind mit höherer Abwanderung und schlechten NPS-Werten verbunden? 

Wenn Sie Ihre KI-Analysen befragen, erhalten Sie Einblicke in: 

  • Welche Anwendungsfälle mit höheren Konversionsraten und einer besseren Kundenbindung verknüpft sind
  • Wie Agenten-Interaktionen den Customer Lifetime Value (LTV) eines Kunden beeinflussen 
  • Ob Agenten versehentlich hochwertige menschliche Interaktionen kannibalisieren
  • Welche Nutzersegmente den größten geschäftlichen Nutzen aus der Agent-Hilfe ziehen

4. Verändert Ihr Agent das Nutzerverhalten? 

Kurzfristig beantworten Agenten Fragen. Langfristig gestalten Agenten Arbeitsabläufe neu – wie Nutzer durch Ihr Produkt navigieren, ihre Anforderungen erfüllen und ihre Arbeit erledigen. 

Mitarbeiter und Kunden, die Agents verwenden, entdecken Funktionen möglicherweise schneller, benötigen weniger Onboarding oder folgen einem neuen, unerwarteten Pfad. Das Verständnis dieser Muster hilft Ihnen, das Agent-Design und die gesamte Produkterfahrung zu optimieren.  

Um dies zu verstehen, vergleichen Sie Nutzer-Journey-Muster vor und nach dem Einsatz von Agenten. Verfolgen Sie, wie Agenteninteraktionen die Feature-Entdeckung, die Time-to-Value und die Produkteinführungspfade beeinflussen. Identifizieren Sie neue Nutzerverhalten, die durch die Agentenunterstützung entstehen.

Sobald Sie diese Frage beantwortet haben, können Sie Folgendes verstehen: 

  • Welche neuen Nutzerpfade entstehen, wenn Agenten die Navigation leiten
  • Wie sich agenten-unterstützte Nutzer in Engagement- und Bindungsmustern unterscheiden
  • Ob Ihr Agent die allgemeine Nutzerstimmung über NPS und CSAT verbessert

5. Worein sollten Sie als Nächstes investieren?

Die meisten Teams entwickeln Agent-Funktionen auf Basis von Bauchgefühl statt auf Grundlage von Daten darüber, was Nutzer tatsächlich brauchen und verwenden. 

KI-Roadmaps, die auf echten Verhaltensdaten basieren, helfen Ihnen, verschwendete F&E-Ausgaben und Roadmap-Risiken zu reduzieren. Dazu müssen Sie wissen, welche Funktionen funktionieren und welche nicht, damit Sie Teile Ihres Stacks richtig priorisieren, verbessern oder einstellen können.

Um dies zu ermitteln, analysieren Sie nicht unterstützte Anfragemuster, um stark nachgefragte, fehlende Funktionen zu identifizieren. Verfolgen Sie, welche vorhandenen Funktionen die erfolgreichsten Ergebnisse erzielen, und erkennen Sie aufkommende Nutzerbedürfnisse, bevor es die Konkurrenz tut.

Was Sie endlich beantworten können:

  • Welche fehlenden Funktionen würden die meisten Reibungspunkte für Nutzer beseitigen
  • Welche vorhandenen Agent-Funktionen den höchsten geschäftlichen Nutzen bringen
  • Welche neuen Anwendungsfälle sich aus Nutzerverhaltensmuster ergeben
  • Wo Verbesserungsmaßnahmen für maximalen ROI konzentriert werden sollten

6. Welche Art von Daten teilen Endnutzer mit Agents? 

Sie können sehen, dass Benutzer mit Agenten chatten, aber Sie wissen nicht, ob sie Informationen teilen, die zu Compliance-Problemen führen könnten (wie Kundendaten, interne Prozesse, Wettbewerbsinformationen oder persönliche Details). 

Wenn Benutzer hochsensible Informationen teilen, benötigen Sie geeignete Schutzmaßnahmen, um künftige regulatorische und Compliance-Probleme zu vermeiden. Wenn Sie einen neuen KI-Agenten in Ihrer Belegschaft einführen, müssen Sie Folgendes verfolgen: 

  • Ob Benutzer personenbezogene Daten, Finanzdaten oder andere regulierte Informationen teilen
  • Wie das Datenweitergabeverhalten je nach Benutzerrolle oder Abteilung variiert
  • Welche Gesprächstypen Benutzer dazu veranlassen, sensible Details zu teilen
  • Ob Benutzer Ihrem Agenten genug vertrauen, um Kontext für komplexe Fragen bereitzustellen

Verfolgen Sie, welche Informationen Benutzer freiwillig teilen und welche sie schützen, und identifizieren Sie Muster bei der Datenweitergabe über verschiedene Benutzerrollen, Abteilungen oder Anwendungsfälle hinweg.

Wenn Ihre Software- und KI-Daten gemeinsam gespeichert sind, können Sie die volle Wirkung Ihrer KI-Investitionen verstehen. Pendo Agent Analytics ist die erste – und einzige – Lösung, die Ihnen dabei hilft, genau das zu tun this. Fordern Sie eine Demo an, um mehr über Agent Analytics zu erfahren.