Wie Produktentwickler den KI-ROI nachweisen können

Nach wochenlangem Aufbau und Testen eines KI-Assistenten ist es eine Erleichterung, wenn Kunden ihn zu nutzen beginnen. Dann kommt der Teil, in dem Sie erklären müssen, ob die aufgewendete Zeit und das Geld gut investiert waren.

Produktteams haben guten Grund, sich auf dieses Gespräch vorzubereiten. Laut einer aktuellen KPMG-Umfragegaben 49 % der Unternehmen an, KI-Agent-Deployments verzögert oder zurückgefahren zu haben, als die Kosten den Nutzen zu übersteigen begannen.

Eine klare Antwort auf die Frage nach dem ROI zu bekommen, kann überraschend schwierig sein. Ihr Assistent erhält möglicherweise mehr Eingaben, während Benutzer die Einrichtung dennoch abbrechen. Kunden mögen seine Antworten, verbringen aber zusätzliche Zeit damit, sie zu überprüfen. Selbst ermutigende Engagement-Zahlen lassen Ihnen noch Arbeit übrig, bevor Sie den Verbesserungen einen monetären Wert zuweisen können.

Um den KI-ROI nachzuweisen, beginnen Sie mit einer Aufgabe, die Ihre Benutzer erledigen müssen. Messen Sie, ob die KI-Funktion ihnen zum Erfolg verhilft, vergleichen Sie das Ergebnis mit der bestehenden Erfahrung und verknüpfen Sie die Verbesserung mit einem Nutzen, den Sie bewerten können. Berücksichtigen Sie dabei die Gesamtkosten für die Entwicklung und den Betrieb der Funktion.

Das liefert Ihnen ein erklärbares Business-Case und eine Grundlage für die Entscheidung, was als Nächstes entwickelt werden soll.

Beginnen Sie mit der Aufgabe des Benutzers

Wählen Sie eine Aufgabe, die Ihre KI-Funktion verbessern soll. Einem neuen Administrator dabei zu helfen, die Workspace-Einrichtung abzuschließen, gibt Ihnen etwas Konkretes zu messen: eine Person mit einer bestimmten Aufgabe, eine Abfolge von Aktionen und ein klares Ergebnis.

Definieren Sie den Erfolg, bevor Sie die Funktion bewerten. Bei der Einrichtung könnte das bedeuten, die erforderliche Konfiguration innerhalb von sieben Tagen abzuschließen, ohne Fehler, die Support erfordern.

Ermitteln Sie dann, wer die Möglichkeit hat, den Assistenten zu nutzen. Wenn er nur für Administratoren verfügbar ist, die mit der Einrichtung beginnen, messen Sie die Akzeptanz innerhalb dieser Gruppe. Alle aktiven Kunden als Nenner zu verwenden, würde verschleiern, wie gut Sie die beabsichtigte Zielgruppe erreichen.

Verfolgen Sie alle Personen, die den Workflow starten, einschließlich derjenigen, die ihn abbrechen, auf einen Fehler stoßen oder den Assistenten nie öffnen. Sie benötigen diese Erfahrungen, um zu verstehen, ob die Funktion die Einrichtung insgesamt verbessert.

Achten Sie von Anfang an gleichermaßen auf Qualität und Vollständigkeit. Ein schnellerer Einrichtungsprozess schafft wenig Mehrwert, wenn Kunden am nächsten Tag zurückkehren müssen, um ihre Konfiguration zu korrigieren.

Eine glaubwürdige Ausgangsbasis schaffen

Vergleichen Sie den KI-Workflow mit der Erfahrung, die Kunden andernfalls machen würden. Das könnte Ihre bestehende Benutzeroberfläche sein, ein durch den Support begleiteter Prozess oder eine Version des Workflows ohne den Assistenten.

Verwenden Sie für beide Gruppen dieselbe Aufgabendefinition und dasselbe Messzeitfenster. Berücksichtigen Sie Unterschiede in der Kundenerfahrung, der Kontogröße und dem Zugang zu Hilfe. Ein Rollout, der mit einem überarbeiteten Onboarding-Ablauf zusammenfällt, erfordert besondere Sorgfalt, um die jeweiligen Effekte zu unterscheiden.

Ein randomisiertes Experiment kann Ihnen helfen, eine Verbesserung dem KI-Feature zuzuschreiben. Entscheiden Sie, wie Sie Teilnehmer zuweisen, basierend auf deren Arbeitsweise. Wenn Administratoren im selben Konto gemeinsam Einrichtungsaufgaben übernehmen, kann die Zuweisung ganzer Konten einen saubereren Vergleich liefern als die Zuweisung einzelner Personen.

Sie können auch von vergleichbaren Kohorten oder einer Vorher-Nachher-Analyse lernen. Seien Sie sich über die Grenzen im Klaren. Kunden, die sich entscheiden, einen Assistenten zu nutzen, sind möglicherweise bereits stärker motiviert oder vertrauter mit Ihrem Produkt. Berücksichtigen Sie diese Unterschiede, bevor Sie eine höhere Abschlussrate dem Assistenten zuschreiben.

Nutzung und Aufgabenerfolg gemeinsam messen

Die Akzeptanz hilft Ihnen zu verstehen, ob Kunden das Feature ausprobieren. Um seinen Wert zu beurteilen, verfolgen Sie, was nach dem Ausprobieren passiert.

Für einen Onboarding-Assistenten könnte ein sinnvoller Messplan wie folgt aussehen:

Interpretieren Sie das Engagement im Kontext der Aufgabe. Ein Assistent, der jemandem hilft, die Einrichtung in zwei Austauschen abzuschließen, kann besser abschneiden als einer, der zehn benötigt. Mehr Prompts können wachsendes Interesse, wiederholte fehlgeschlagene Versuche oder eine komplexere Aufgabe widerspiegeln. Untersuchen Sie die Konversationen und Abschlussdaten, bevor Sie entscheiden, welche Erklärung zutrifft.

Pendo Agent Analytics hilft Teams dabei, Konversationen zu analysieren, Anwendungsfälle und Probleme zu identifizieren und Agent-Interaktionen mit dem anschließenden Produktverhalten zu verknüpfen. Nutzen Sie diesen Kontext, um zu untersuchen, wo Kunden erfolgreich sind und wo sie nicht weiterkommen. Mit Headless Pendo können Sie Agent-Adoption, -Bindung und -Probleme direkt in verbundenen Tools wie Claude und ChatGPT über das Pendo MCP erkunden, ohne die Pendo-App zu öffnen.

Überprüfen Sie auch Ihre Messabdeckung. Wenn Sie eine Konversation nicht mit den anschließenden Aktionen des Nutzers verknüpfen können, müssen Sie möglicherweise eine Instrumentierungs- oder Identitätslücke beheben, bevor Sie Schlussfolgerungen ziehen.

Überprüfen Sie eine Auswahl von Konversationen anhand der entsprechenden Aufgabenergebnisse. Ein Assistent kann eine hilfreiche Antwort geben, während der Kunde dennoch Schwierigkeiten hat, die Einrichtung abzuschließen. Die Überprüfung beider Aspekte hilft Ihnen, Erfolg in Begriffen zu definieren, die die Erfahrung des Kunden widerspiegeln.

Die Verbesserung mit dem Geschäftswert verknüpfen

Sobald Sie eine Verbesserung gemessen haben, stellen Sie fest, was sie wert ist.

Eine schnellere Aufgabenerledigung kann Kapazitäten freisetzen. Weniger Support-Eskalationen können den Aufwand für die Kundenbetreuung reduzieren. Eine bessere Aktivierung oder Bindung kann zum Umsatz beitragen.

Jeder Vorteil erfordert eine Erklärung, die die beobachtete Veränderung mit ihren finanziellen Auswirkungen verknüpft. Wenn Mitarbeitende Zeit einsparen und diese nutzen, um mehr Arbeit zu bewältigen, beschreiben Sie die zusätzliche Kapazität und den zusätzlichen Output. Um realisierte Einsparungen geltend zu machen, identifizieren Sie die Ausgaben, die sich verändert haben, z. B. niedrigere Anbieterkosten, weniger bezahlte Arbeitsstunden oder eine vermiedene Neueinstellung.

Für die Kundenbindung gilt dasselbe. Wiederkehrende Nutzer finden möglicherweise einen Mehrwert in der Funktion, aber Sie müssen Verlängerungen, Erweiterungen oder ein anderes relevantes kommerzielles Ergebnis untersuchen, um den Umsatzeffekt abzuschätzen. Kennzeichnen Sie Prognosen und Annahmen, damit Leser sie von beobachteten Ergebnissen unterscheiden können.

Ordnen Sie die Kosten demselben Zeitraum zu wie die Vorteile. Berücksichtigen Sie Implementierung, Instrumentierung, Modell-Anbietergebühren, Infrastruktur, menschliche Überprüfung und Wartung.

Prüfen Sie außerdem, ob sich Vorteile überschneiden. Wenn dieselbe vermiedene Support-Arbeit sowohl als Arbeitskosteneinsparung als auch als zusätzliche Personalkapazität gezählt wird, würde dies den Return überbewerten.

Von Pendos eigenem KI-Agenten lernen

Unsere Erfahrungen bei der Verbesserung von Leo, Pendos KI-Produktassistenten, zeigen, wie dieser Messprozess Produktentscheidungen beeinflussen kann.

Mithilfe von Agent Analytics hat das Team identifiziert Kunden, die komplexe Analysefragen stellten, mit denen Leo Schwierigkeiten hatte. Sie untersuchten die Häufigkeit und Art der Anfragen und nutzten diese Erkenntnisse, um Verbesserungen an Leos quantitativem Tooling zu priorisieren.

Vor der Ausweitung des Releases testete das Team das neue Tooling mit einer Kohorte, die 20 % der Nutzerbasis repräsentierte. Die Fehlerrate sank bei dieser Kohorte um 67 %.

Außerdem verzeichneten sie einen Anstieg der wöchentlich wiederkehrenden Besucher um 61,3 % gegenüber den vorangegangenen 60 Tagen. Dieses breitere Engagement-Ergebnis deckt einen anderen Bereich ab als das Tooling-Experiment.

Das Team hatte Belege für eine Produktentscheidung: Es verstand ein wiederkehrendes Kundenproblem und hatte getestet, ob die vorgenommenen Änderungen das Erlebnis verbesserten. Die Berechnung des finanziellen ROI würde die oben beschriebene zusätzliche Kosten-Nutzen-Analyse erfordern.

Sie können denselben Prozess für Ihr eigenes Feature anwenden. Identifizieren Sie das Problem, priorisieren Sie eine Lösung basierend auf ihrer Auswirkung, und testen Sie das Ergebnis, bevor Sie den Rollout ausweiten.

Nutzen Sie die Erkenntnisse, um zu entscheiden, was als Nächstes kommt

Bringen Sie Ihre Empfehlung in den Business Case ein. Erläutern Sie, wen Sie gemessen haben, was Sie verglichen haben, wie sich das Ergebnis verändert hat und was es gekostet hat, diese Veränderung zu erzielen.

Skalieren Sie, wenn Kunden das angestrebte Ergebnis erreichen und der Nutzen die Investition rechtfertigt. Konzentrieren Sie das Feature auf eine engere Zielgruppe, wenn Sie dort den Mehrwert finden. Wenn die Ergebnisse hinter den Erwartungen zurückbleiben, nutzen Sie die Erkenntnisse, um zu entscheiden, ob Sie das Erlebnis verbessern, den Anwendungsfall ändern oder die Investition einstellen.

Sie können eine fundierte Entscheidung treffen, bevor alle finanziellen Annahmen geklärt sind. Seien Sie konkret darüber, was Sie beobachtet haben, was Sie modelliert haben und was Sie noch messen müssen. Das gibt Produkt, Engineering und Finance eine gemeinsame Grundlage für die nächste Investition.

Beginnen Sie mit einem Workflow, bei dem Sie einen klareren Blick auf das Ergebnis benötigen.

Bereit, den ROI für Ihren eigenen KI-Agenten nachzuweisen? Explore Pendo Agent Analytics um Agent-Interaktionen mit Nutzer- und Geschäftsergebnissen zu verknüpfen.