RF-SMART is the leading third-party warehouse management system (WMS) for NetSuite, serving 2,800+ customers across 40+ countries.
Software
201-1k
RF-SMART had no reliable way to measure their AI agents' performance—or understand why the agents were making the decisions they made. Without that visibility, the team couldn't prioritize what to build next.
RF-SMART turned to Pendo Agent Analytics to get a clear view of agent performance, individual customer interactions, and AI decision-making.
With that visibility in place, RF-SMART accelerated their AI development cycles, brought cross-functional teams into alignment with accessible reporting, and built a product roadmap grounded in real customer data.
Einen KI-Agenten bereitzustellen ist der einfache Teil. Zu wissen, was er danach tatsächlich tut, ist ein völlig anderes Problem.
Das ist die Frage, auf die Produktteams schnell stoßen: Der Agent ist live, Nutzer interagieren mit ihm, und plötzlich lautet die häufigste Frage im Raum: „Warum hat die KI das getan?" Herkömmliche Analysetools wurden nicht dafür entwickelt, diese Frage zu beantworten. Logs helfen, aber nur begrenzt. Und ohne echte Einblicke in die Art und Weise, wie Agenten denken und reagieren, tappen Teams im Dunkeln – darüber, was funktioniert, was nicht funktioniert und was als Nächstes entwickelt werden soll.
RF-SMART kannte diese Herausforderung aus eigener Erfahrung.
Seit mehr als 40 Jahren unterstützt RF-SMART Unternehmen dabei, Lager-, Bestands- und Lieferkettenprozesse zu optimieren. Die Software hilft Kunden, die mit großen ERP-Systemen (Enterprise Resource Planning) arbeiten, kritische Geschäftsprozesse schneller und effizienter abzuwickeln. Als KI die Unternehmenssoftware zu verändern begann, handelte RF-SMART schnell und erkundete, wie KI-Agenten Kunden dabei helfen könnten, komplexe Arbeitsabläufe zu bewältigen, das Onboarding zu beschleunigen und Aufgaben mit weniger Aufwand zu erledigen.
Doch die Entwicklung dieser Erlebnisse warf eine schwierigere Frage auf: Wie misst man einen Agenten – nicht nur, ob er funktioniert, sondern warum er sich so verhält, wie er es tut?
Um das zu beantworten, wandte sich RF-SMART an Pendo Agent Analytics.
Für Elliot Land, Innovation Product Owner bei RF-SMART, läuft der Wert von KI auf eine Sache hinaus: Kunden dabei zu helfen, mehr zu erreichen.
„Die KI-Revolution ist da und findet statt, und die Dinge verändern sich jeden einzelnen Tag schneller und schneller. Für uns geht es bei unseren Produkten darum, die Effizienz der Nutzer zu steigern. Das ist es, was wir letztendlich tun."
—Elliot Land, Innovation Product Owner, RF-SMART
Das Team betrachtet KI als natürliche Erweiterung der Mission von RF-SMART.
„Was kann ein KI-Agent für Sie tun, der Ihnen hilft, jeden Tag 10 Minuten zu sparen, eine Stunde pro Woche zu sparen, Tage im Laufe eines Jahres zu sparen?", sagte Land. „Wenn wir Ihnen einen zusätzlichen Monat im Jahr verschaffen können, um mehr zu tun, werden wir Ihnen helfen, besser zu werden."
Mit dieser Vision vor Augen begann RF-SMART, KI-Agenten zu entwickeln, die das Produkt-Onboarding vereinfachen und Kunden dabei helfen sollen, komplexe Implementierungsaufgaben selbstständiger zu erledigen. Während einer Pendomonium-Session beschrieb das Team die Initiative als die nächste Evolutionsstufe seiner langjährigen Bemühungen, das Onboarding von Unternehmenssoftware „einfach, besser, schneller, stärker" zu gestalten.
Doch als die Entwicklung an Fahrt aufnahm, erkannte das Team schnell, dass die Messung von KI eine andere Denkweise erfordert als die Messung herkömmlicher Software.
Wie viele Unternehmen, die mit KI experimentieren, konzentrierte sich RF-SMART zunächst auf eine einfache Frage: Funktioniert der Agent?
„Bevor wir Agent Analytics hatten, um KIs zu messen, drehte sich das Gespräch nur darum, ob die KI funktioniert. Ob sie das tut, was sie tun muss?", sagte Land.
Dieser Ansatz reichte für Proof-of-Concept-Tests aus, war jedoch nicht ausreichend, um eine langfristige Produktentwicklung zu unterstützen.
KI-Agenten bringen ein Maß an Unvorhersehbarkeit mit sich, das traditionelle Software-Teams nicht gewohnt sind zu managen. Wie Land in seiner Pendomonium-Präsentation erläuterte, messen Teams nicht mehr nur Klicks, Seitenaufrufe und Workflows. Sie messen Schlussfolgerungen, Kontext und Entscheidungsfindung. Eine Frage taucht unweigerlich bei Stakeholdern, Testern, Führungskräften und Kunden gleichermaßen auf:
„Warum hat die KI das getan?"
Die Beantwortung dieser Frage wurde entscheidend, als RF-SMART von der Experimentierphase zur Skalierung seiner KI-Initiativen überging.
Das Team benötigte eine Möglichkeit, zu verstehen, wie Benutzer mit Agenten interagierten, Probleme schnell zu identifizieren und klügere Entscheidungen darüber zu treffen, was als Nächstes entwickelt werden sollte.
RF-SMART implementierte Pendo Agent Analytics neben seinen bestehenden Entwickler-Tools, um Einblick in die Agentenleistung und Kundeninteraktionen zu gewinnen und seine KI-Strategie weiterzuentwickeln.
„Mit Agent Analytics konnten wir uns ein umfassenderes Bild machen, weitere Kennzahlen untersuchen und fortschrittlichere, ausgefeiltere Berichte über unseren KI-Agenten erstellen, die wir für unser Wachstum benötigten. Es funktioniert – jetzt wollen wir es noch besser machen."
—Elliot Land
Was die bevorzugten Funktionen betrifft, gibt es für Land einen klaren Gewinner:
„Die einzelnen Gespräche sind meine Lieblingsansicht in Agent Analytics."
Anstatt sich ausschließlich auf Logs oder aggregierte Berichte zu verlassen, überprüft Land regelmäßig echte Kundeninteraktionen, um zu verstehen, wie Benutzer mit den KI-Erlebnissen von RF-SMART interagieren.
„Ich gehe gerne rein und fange einfach an, zufällig einzelne Gespräche herauszuziehen und die Konversationsansicht in Agent Analytics zu überprüfen."
Die Möglichkeit, Gespräche direkt mit Session Replay zu verknüpfen, gibt dem Team noch tiefere Einblicke.
„Mit diesen beiden Ansichten wirklich miteinander verknüpft ist es so einfach, die Nutzererfahrung wirklich zu verstehen – wo sie sich in dem Moment befanden und was sie mit der KI gemacht haben", sagte Land. Die Kombination hilft Teams, schnell von übergeordneten Berichten zu detaillierten Untersuchungen und einem Verständnis auf Nutzerebene überzugehen.
Einer der größten Vorteile, den RF-SMART entdeckte, war die Möglichkeit, KI-Leistungsdaten über Engineering-Teams hinaus zugänglich zu machen.
„Es ist das beste Tool, das wir haben und das die KI-Agenten-Daten anzeigt, die Sie für Berichte benötigen, um den Leuten zu zeigen, wie es funktioniert. Es ist auch sehr nützlich, es in einem Format zu haben, das POs, PMs und alle im Produktbereich auf einen Blick sehen und verstehen können", erklärte Land.
Er beschreibt die Erfahrung als „nicht-technische technische Berichterstattung für nicht-technische Menschen."
Diese Transparenz hat dazu beigetragen, die Abstimmung zwischen Teams zu fördern und schnellere Gespräche, kürzere Feedback-Schleifen sowie fundiertere Entscheidungen darüber zu ermöglichen, wie sich die KI-Produkte von RF-SMART weiterentwickeln sollen.
Land hob außerdem mehrere praktische Vorteile hervor, die zu schnelleren KI-Entwicklungszyklen beigetragen haben, darunter: geringer Implementierungsaufwand
Da RF-SMART seine KI-Funktionen kontinuierlich ausbaut, bleibt das Kundenfeedback der wichtigste Leitfaden des Unternehmens.
„Die ultimative Wahrheitsquelle dafür, was wir bauen und tun sollten, kommt aus dem Kundenfeedback und den Kundeninteraktionen, die wir jetzt mit Agent Analytics sehen", sagte Land.
Das Team arbeitet eng mit Beta-Kunden zusammen und nutzt Agent Analytics, um reale Nutzungsmuster zu verstehen und unerwartete Verhaltensweisen aufzudecken.
Land vergleicht die KI-Entwicklung damit, Kunden eine Sammlung von Zutaten zu überreichen.
„Sie haben eine Vorstellung davon, wie Ihre Zutaten in dem Rezept zusammenpassen sollen, das Sie mit Ihrer KI zubereiten möchten, aber ich garantiere Ihnen, Ihre Kunden werden einen neuen Weg finden, diese Zutaten zu kombinieren, um Ergebnisse zu erzielen, die Sie nicht erwartet haben."
Diese Erkenntnisse helfen RF-SMART dabei, Möglichkeiten für künftige Innovationen zu identifizieren – darunter modularere KI-Architekturen, die den individuellen Anforderungen verschiedener Kunden gerecht werden können.
Für Land ist der Schlüssel, anzufangen, schnell zu lernen und Schwung aufzubauen.
„Mein Rat an jeden anderen Produktverantwortlichen, der heute an einem KI-Agenten arbeitet, wäre: Bringt einfach den ersten raus", sagte er. „Sobald ihr das Rezept habt, seht, dass es machbar ist und wie es funktioniert, werden die Ergebnisse, die ihr erzielt, eure Welt öffnen."
Weitere Informationen finden Sie unter RF-SMARTs Lightning-Runde von Pendomonium 2026: So optimieren Sie das Onboarding – von Apps bis hin zu Agents.
Erfahren Sie, wie Pendo gleich ab dem ersten Tag Mehrwert für Ihr Unternehmen schaffen kann
