KI-Agenten werden in Ihren Produkt-, Engineering-, IT- und Customer-Success-Teams eingesetzt. Gut. Aber wissen Sie, ob sie wirklich helfen?

Das mag banal klingen, ist aber eine Frage, die überall gestellt wird. Nach einigen Jahren wollen die Menschen wissen: Was bringt es? Wie haben wir uns verbessert? 

Um Ihnen bei der Beantwortung dieser Frage zu helfen, haben wir mit einem unserer eigenen Experten auf diesem Gebiet gesprochen, Pierce Healy. Er war Mitgründer von Zelta.ai und ist jetzt Pendos Sr. Director of AI Products. Pierce ist so ziemlich unser hauseigener KI-Experte und hilft unseren Kunden und Kollegen (einschließlich mir), KI besser zu verstehen und zu nutzen. 

Hier ist, was er zu diesem Thema zu sagen hatte. 

Schritt 1: Wählen Sie Ihre Leitstern-Kennzahl

Der häufigste Fehler, den Teams beim Messen des KI-Werts machen, ist das Benchmarking anhand von menschlichem Aufwand oder eingesparter Zeit. Es ist völlig normal zu denken: „Das hätte ein Mensch 5 Stunden gebraucht, also haben wir 5 Stunden gespart."

Aber in vielen Fällen erledigt der Agent etwas, das ein Mensch überhaupt nicht hätte tun können, wie zum Beispiel einen Prototyp in einer Sprache zu erstellen, die niemand im Team beherrscht, oder Themen aus Tausenden von Support-Tickets zu extrahieren und sofortige Verbesserungen zu deren Lösung zu identifizieren. „Der Ausgangswert ist praktisch unendlich, was die Mathematik bedeutungslos macht", Pierceerklärt.

Stattdessen sollten Sie mit dem Ergebnis beginnen, das Ihrem Team bereits wichtig ist, und dieses messen. Dies variiert je nach Team und der Aufgabe Ihres Agenten: 

  • Customer Success kümmert sich um die Ticketlösungsrate, die Zeit bis zur Lösung und das Eskalationsvolumen.
  • Engineering-Teams legen Wert auf die Geschwindigkeit neuer ausgelieferter Funktionen sowie die Zeit von der Spezifikation bis zur Produktion.
  • IT-Teams verfolgen möglicherweise die Bereitstellungsgeschwindigkeit, die Reduzierung manueller Anfragen, Veränderungen bei technischen Schulden und Ausgaben sowie die Software-Agenten, die ersetzt werden könnten.
  • Sales muss die Upsell-Konversionsrate oder die Genauigkeit der Lead-Bewertung verfolgen. 

Pierces Rat: Egal, in welchem Team du bist, wähle eine einzige Kennzahl. Stelle sicher, dass es etwas ist, das du vor und nach dem Einsatz des Agenten verfolgen kannst, und wenn du nicht definieren kannst, wie „besser" aussieht, bist du noch nicht bereit, den ROI zu messen. 

Schritt 2: Tagge deinen Agenten und richte das Reporting ein

Jetzt müssen Sie die Frage beantworten: „Kann ein Dashboard oder Bericht mir zeigen, dass der Agent die in Schritt 1 definierte Kennzahl bewegt?" 

Die meisten Teams überspringen diesen Schritt und verlieren dabei den Überblick darüber, wie der Agent die in Schritt 1 gewählten Ergebnisse erzielt (oder nicht erzielt). Eine gute Agent-Instrumentierung sollte so aussehen:

  • Verhaltenssignale statt selbst gemeldeter Evals. Evals – also die Bewertung der Ausgabe eines Agenten anhand erwarteter Antworten vor dem Live-Betrieb – sind nützlich, damit das Engineering-Team ein gemeinsames Verständnis davon entwickelt, wie „korrekt" aussieht. Sie lassen sich jedoch leicht manipulieren, sind bei großem Maßstab subjektiv und basieren nicht auf dem, was tatsächlich in der Praxis passiert. Was man wirklich möchte,sehen, ist eine nachgelagerte Verhaltensänderung. Werden weniger Tickets an Tier 2 eskaliert? Beheben Ingenieure weniger Fehler? Das ist es, worauf man achten sollte.
  • Richten Sie Ihre Messtools ein. Während die meisten KI-Modelle von Haus aus ein gewisses natives Tracing und Logging mitbringen, bieten sie keinen vollständigen Einblick in die Nutzung dieser Agenten. Um die Effektivität zu verstehen, benötigen Sie vollständige Transparenz darüber, wie Menschen mit dem Agenten interagieren: was sie gefragt haben, wo das Gespräch abgebrochen herunter, und was sie als Nächstes taten. Agent Analytics ist das einzige Tool, das diese Verhaltensebene in Ihrem Agent-Ökosystem sichtbar machen kann.
  • Agenten-Umfang neben Ergebnissen verfolgen. Bei Hintergrund-Agenten (die Art, die Workflows ausführt, ohne dass ein Benutzer sich aktiv dafür entscheidet, sie zu „nutzen"), sieht die Akzeptanz anders aus. Anstatt zu messen, wie viele Benutzer darauf geklickt haben, messen Sie, ob der Umfang des Agenten basierend auf der Leistung wächst oder schrumpft und ob ihm zugetraut wird, mehr zu handelnautonomously over time.

Schritt 3: Metriken in das übersetzen, was die Führungsebene wirklich interessiert

Sie haben Ihre Leitstern-Metrik und Ihre Instrumentierung. Jetzt ist es an der Zeit, Ihren Business Case zu erstellen. 

  • Für Produktverantwortliche: Der ROI ist weniger eine Frage der Kosten als vielmehr der strategischen Relevanz. Finden Nutzer dies hilfreich? Ist es ein effizienterer Weg, Ihre Ziele zu erreichen? Hält uns diese Fähigkeit für die nächsten 3–5 Jahre relevant? Erschließen wir neue Marktsegmente oder Anwendungsfälle, die wir bisher nicht bedienen konnten? Stellen Sie den Wert von Agenten als Markt Positionierung, nicht Personalabbau.
  • Für IT- und Betriebsleiter: Sie möchten Informationen zur Effizienz. Verknüpfen Sie die Leistung Ihres Agenten direkt mit Verbesserungen auf Service-Ebene, wie z. B. Lösungsquoten, Zeit bis zur Bereitstellung und Reduzierung manueller Schritte. 
  • Für Führungskräfte und den Vorstand: Rahmen Sie dies um Geschäftsergebnisse, zum Beispiel: „Unsere Kundeneskalationsrate ist in Q2 um 22 % gesunken." Der Agent ist in diesem Fall das Wie.

Da KI-Agenten in Organisationen immer verbreiteter werden, wird die Führungsebene weiterhin eine Möglichkeit benötigen, sie so zu verwalten, wie sie menschliche Teams verwaltet: zu sehen, was jeder Agent tut, welchen Zugriff er hat und ob sein Aufgabenbereich basierend auf der Leistung erweitert oder eingeschränkt werden sollte. 

Stellen Sie es sich als Agent-Management vor: Genauso wie ein Manager die Arbeit eines neuen Mitarbeiters prüft, bevor er ihm mehr Autonomie gewährt, möchten Sie Einblick in die Effektivität jedes Agenten haben, bevor Sie dessen Berechtigungen erweitern. 

Möchten Sie sehen, was Ihre Agenten tatsächlich tun? Fordern Sie eine Demo von Agent Analytics an.