Ihr Team hat einen KI-Agenten entwickelt, ihn Nutzern zugänglich gemacht und die ersten Anfragen beobachtet. Jetzt müssen Sie verstehen, ob er Teil ihrer Arbeit wird.

Wer entdeckt ihn? Wer probiert ihn einmal aus und kehrt zurück, wenn die nächste Aufgabe ansteht? Wo kommen Nutzer nicht weiter? Und wenn der Agent jemandem hilft, eine Aufgabe abzuschließen – ist die Verbesserung den Aufwand wert?

Diese Fragen liefern Ihnen einen praxisorientierten Rahmen zur Messung der KI-Agenten-Einführung. Verfolgen Sie den Weg von der Entdeckung bis zur erfolgreichen Arbeit, nutzen Sie dann das Gelernte, um das Erlebnis zu verbessern, und messen Sie den Return erneut.

Produktteams müssen verstehen, was Nutzer fragen, wo Interaktionen scheitern und was danach passiert. Mit Pendo können Teams Agent-Interaktionen mit dem übergeordneten Produkterlebnis verknüpfen und erkennen, wo Nutzer Unterstützung benötigen.

Definieren Sie die Aufgaben, bei denen Ihr Agent die Nutzer unterstützen soll

Beginnen Sie mit einer Aufgabe, die Ihre Zielnutzer kennen. Ein Berichtsassistent könnte einem Administrator helfen, einen wöchentlichen Bericht zu erstellen und zu teilen. Benennen Sie die Aufgabe, die Zielgruppe und das Ergebnis, das als Erfolg gilt.

Für diesen Assistenten könnte Erfolg bedeuten, dass ein korrekter Bericht innerhalb von 24 Stunden nach dem Start gespeichert und geteilt wurde. Das gibt Ihnen ein Ergebnis, das Sie sowohl im Gesprächsverlauf als auch im Produkt selbst nachverfolgen können.

Halten Sie Personen, Aufgaben und Gespräche getrennt. Eine Person kann mehrere Aufgaben erledigen, und eine Aufgabe kann sich über mehrere Gespräche erstrecken. Wenn Sie abgeschlossene Aufgaben messen, verwenden Sie eine einheitliche Aufgaben-ID, damit wiederholte Versuche die Anzahl nicht verfälschen.

Auch die Häufigkeit der Aufgabe spielt eine Rolle. Wöchentliche Berichte geben Nutzern einen wöchentlichen Grund zur Rückkehr. Interpretieren Sie die fortlaufende Nutzung im Kontext dessen, wie oft Nutzer den Agenten benötigen.

Beginnen Sie bei Hintergrund- oder proaktiven Agenten mit dem Ereignis, das die Unterstützung auslöst. Verfolgen Sie, ob der Agent Hilfe anbietet, ob Nutzer diese annehmen und ob die Aufgabe erledigt wird.

Entdeckung, Erstnutzung und Wiederholungsnutzung verfolgen

Beginnen Sie mit drei Fragen: Können Nutzer den Agenten finden, probieren sie ihn aus und kehren sie zurück? Diese Kennzahlen ergänzen die 10 wesentlichen KPIs zur Messung der KI-Agenten-Performance und zeigen, wie der Agent Teil der Arbeit der Nutzer wird.

Auffindbarkeit: Können Nutzer den Agenten dort finden, wo sie ihn benötigen? Verwenden Sie Pendo Product Analytics , um zu verstehen, wo die relevante Arbeit beginnt. Beim Reporting-Assistenten könnte das die Berichtsseite sein. Verfolgen Sie, wie vielen berechtigten Nutzern der Einstiegspunkt angezeigt wird, und nutzen Sie gezielte Guidance, um mehr Personen dabei zu helfen, ihn zu finden. Die Anzeige einer Einladung bedeutet nicht zwangsläufig, dass sie wahrgenommen wurde.

Erstnutzung: Stellen Nutzer eine erste Anfrage? Erstellen Sie einen Funnel vom Einstiegspunkt des Agenten bis zur ersten Anfrage, unter Verwendung eines Segments von Personen, die den Agenten noch nicht genutzt haben. Stellen Sie sicher, dass diese Ereignisse erfasst werden. Wenn Nutzer abspringen, testen Sie eine klarere Einladung oder eine vorgeschlagene Startaufgabe.

Wiederholte Nutzung: Kommen Nutzer zurück? Die integrierte Bindungsmetrik von Agent Analytics misst den Prozentsatz der Besucher, die innerhalb des ausgewählten Zeitraums in mindestens zwei verschiedenen Wochen Prompts eingereicht haben, bezogen auf alle Besucher, die in diesem Zeitraum Prompts eingereicht haben. Wählen Sie einen Berichtszeitraum, der den Nutzern eine sinnvolle Möglichkeit zur Rückkehr bietet.

Schauen Sie sich die Anwendungsfälle und Accounts hinter dem Durchschnitt an. Pendo Agent Analytics hilft Ihnen dabei zu erkunden, wonach Nutzer fragen und welche Probleme sie haben. Nutzen Sie diese Erkenntnisse, um zu untersuchen, was Nutzer zurückbringt und was sie abschreckt.

Abgeschlossene Aufgaben und Abbruchpunkte messen

Sobald Nutzer den Agenten verwenden, prüfen Sie, ob sie die Aufgabe erledigen, für die sie gekommen sind.

Stellen Sie sich einen hypothetischen Monat vor, in dem Nutzer 600 Berichtsaufgaben starten und 420 korrekte Berichte abschließen, die innerhalb von 24 Stunden gespeichert und geteilt werden. Die Aufgabenabschlussrate beträgt 70 %. Zählen Sie alle Aufgabenstarts, einschließlich fehlgeschlagener oder abgebrochener Versuche, und lassen Sie jeder Aufgabe ihr vollständiges Abschlussfenster, bevor Sie berichten.

Pendos benutzerdefinierte Erfolgsmetriken ermöglichen es Ihnen, erfolgreiche Konversationen zu definieren. Ereignismetriken verfolgen, ob Konversationen zu bestimmten Produktaktionen führen; hybride Metriken kombinieren Konversationserfolgsregeln mit diesen Aktionen. Wenn Sie eine Aufgabenabschlussrate über mehrere Konversationen hinweg benötigen, verfolgen und deduplizieren Sie die Aufgaben separat.

Beziehen Sie die Qualität in die Definition ein. Ein freigegebener Bericht mit falschen Daten erfordert weiterhin Aufmerksamkeit. Überprüfen Sie eine Stichprobe abgeschlossener Arbeiten und berücksichtigen Sie die Zeit, die Benutzer mit dem Prüfen oder Korrigieren verbringen.

Untersuchen Sie unvollständige Aufgaben, um zu verstehen, ob Benutzer auf ein Problem gestoßen sind, menschliche Hilfe benötigt haben oder die Aufgabe an einem Ort abgeschlossen haben, den Ihr Tracking nicht erfassen konnte. Legen Sie fest, wann Sie eine Aufgabe als abgebrochen betrachten, und verfolgen Sie Weiterleitungen an einen Menschen separat. Eine verstummte Konversation bedeutet nicht zwangsläufig, dass jemand aufgegeben hat.

Nutzen Sie Agent-Probleme und Produktpfade, um zu verstehen, wo die Arbeit zum Stillstand kam. Unterscheiden Sie nicht unterstützte Anfragen von unklaren nächsten Schritten, und halten Sie unbekannte Ergebnisse sichtbar, damit fehlende Daten die Erfolgsrate nicht verfälschen.

Nutzen Sie Pendo, um den Adoptionsengpass zu beheben

Nutzen Sie das Gelernte, um die nächste Verbesserung auszuwählen.

Wenn Nutzer nach der Verwendung des Agenten erfolgreich sind, aber nur wenige ihn entdecken, helfen Sie mehr Menschen, ihn zu finden. Wenn Nutzer ihn sehen und selten eine erste Anfrage stellen, erklären Sie, was er leisten kann. Wenn sie ihn ausprobieren und dann verschwinden, untersuchen Sie die Ersterfahrung und ob der Agent eine Aufgabe unterstützt, die sie wiederholt erledigen müssen.

Pendo for Agents vereint Agent Analytics und Agent Toolkit. Agent Analytics hilft Ihnen, Nutzung, Probleme und Ergebnisse zu verstehen. Agent Toolkit, verfügbar in der offenen Beta, gibt Agenten Produkt- und Nutzerkontext, damit sie relevantere Hilfe anbieten können.

Für den Reporting-Assistenten könnte das bedeuten, einen relevanten Pendo-Guide anzuzeigen, wenn ein Nutzer Schwierigkeiten hat, einen Bericht zu speichern – basierend auf dem, was er bereits getan hat. Konfigurieren Sie die Funktionen, die Ihr Agent benötigt, und messen Sie dann, ob Nutzer die Aufgabe häufiger abschließen. Agent Toolkit und Agent Analytics werden separat eingerichtet.

Ihr Team kann die Akzeptanz auch mit vorhandenen KI-Tools untersuchen. Mit Headless Pendokann ein PM direkt in Claude Fragen zu Anwendungsfällen und Problemen des Agenten stellen und dann Produktnutzung und Feedback in die Untersuchung einbeziehen.

Speichern Sie von dort aus eine betroffene Zielgruppe und erstellen Sie einen In-App-Guide für den Reporting-Workflow. Eine Person prüft und aktiviert den Guide. Überprüfen Sie anschließend, ob mehr Nutzer erfolgreich sind und ob die Änderung den Aufwand wert war.

Nützliche Agentenarbeit kann sich über Gespräche, verbundene Tools und die Produktoberfläche erstrecken. Beziehen Sie diese Erfahrungen in die Adoptionsbewertung ein, damit Sie die Arbeit bis zu ihrem Ergebnis nachverfolgen können.

Den Vergleich fair gestalten

Vergleichen Sie ähnliche Nutzer, die ähnliche Aufgaben über vergleichbare Zeiträume ausführen, und verwenden Sie dabei dieselben Erfolgs- und Qualitätsstandards. Geben Sie den Nutzern ausreichend Zeit zum Abschließen, und berücksichtigen Sie andere Änderungen, die die Ergebnisse beeinflussen könnten. Eine höhere Abschlussrate bei Agent-Nutzern zeigt eine Assoziation; ein randomisierter Rollout oder ein sorgfältig konzipierter kontrollierter Vergleich kann helfen, den Beitrag des Agenten zu isolieren. Schließen Sie Personen ein, denen Zugang gewährt wurde, die ihn aber nie nutzen.

Agent Analytics-Experimente ermöglichen es Teams, Konfigurationen, Modelle, Tools und andere Gruppen zu vergleichen. Was Sie einer Änderung zuschreiben können, hängt davon ab, wie die Teilnehmer zugewiesen werden und welche Bedingungen verglichen werden.

Erfolgreiche Adoption mit ROI verknüpfen und verbessern

Bei einem internen Reporting-Assistenten ist die eingesparte Zeit eine Möglichkeit, den Wert zu schätzen. Vergleichen Sie den gesamten Aufwand mit und ohne den Agenten, einschließlich Überprüfung und Nacharbeit.

Angenommen, die 420 abgeschlossenen Aufgaben in unserem hypothetischen Monat sparen jeweils fünf Minuten im Vergleich zur gleichen Arbeit ohne den Agenten. Das ergibt insgesamt 35 Stunden. Bei angenommenen vollständig eingerechneten Arbeitskosten von 60 $ pro Stunde beträgt der geschätzte Wert der eingesparten Zeit 2.100 $.

Wenn die gesamten zugewiesenen Kosten des Agenten für diesen Monat 1.400 $ betragen, beträgt der geschätzte Nettonutzen 700 $. Teilen Sie 700 $ durch 1.400 $, um einen modellierten ROI von 50 %.

Berücksichtigen Sie in den Kosten Implementierung, Modell- und Infrastrukturgebühren, Wartung, Evaluierung sowie menschliche Aufsicht. Dieses Beispiel setzt vergleichbare Abschlussquoten und Qualität voraus, ohne zusätzlichen Aufwand für unvollständige Aufgaben. Berücksichtigen Sie diese Unterschiede, falls sie sich ändern.

Eingesparte Zeit schafft Kapazität; sie wird zu Kosteneinsparungen, wenn sich die Ausgaben ändern. Legen Sie bei einem kundenseitigen Agenten zunächst fest, wie verbesserte Kundenergebnisse Ihrem Unternehmen nutzen, bevor Sie einen finanziellen Wert zuweisen. Verwenden Sie tatsächliche Betriebskosten und vermeiden Sie es, dieselbe Arbeit doppelt zu zählen. Unser Leitfaden dazu, wie Produktentwickler den KI-ROI nachweisen können geht tiefer auf diesen Business Case ein.

Prüfen Sie nach jeder Änderung, ob mehr Nutzer die Aufgabe abschließen, ob die Qualität erhalten bleibt und ob der Nutzen die Kosten rechtfertigt. Wiederholen Sie den Vergleich anhand derselben Maßstäbe und vollständigen Kosten.

Beginnen Sie mit einem Agenten und einer Verbesserung

Wählen Sie eine Aufgabe, die Ihr Agent erleichtern soll. Legen Sie fest, wer ihn nutzen kann, wie er entdeckt wird, wie erfolgreiche Arbeit aussieht und wann es einen Grund zur Rückkehr geben sollte.

Finden Sie heraus, wo die Akzeptanz ins Stocken gerät, nutzen Sie Pendo, um diese Erfahrung zu verstehen und zu verbessern, und messen Sie das Ergebnis an den Gesamtkosten. So haben Sie eine klarere Grundlage, um einen erfolgreichen Anwendungsfall auszubauen, einen schwachen zu verbessern oder Investitionen dort zu bündeln, wo der Agent den größten Mehrwert schafft.

Pendo for Agents entdecken um Agent-Akzeptanz, Produktkontext und die Ergebnisse zu verknüpfen, die Ihnen helfen zu entscheiden, was als Nächstes zu tun ist.