RF-SMART is the leading third-party warehouse management system (WMS) for NetSuite, serving 2,800+ customers across 40+ countries.
Software
201-1k
RF-SMART had no reliable way to measure their AI agents' performance—or understand why the agents were making the decisions they made. Without that visibility, the team couldn't prioritize what to build next.
RF-SMART turned to Pendo Agent Analytics to get a clear view of agent performance, individual customer interactions, and AI decision-making.
With that visibility in place, RF-SMART accelerated their AI development cycles, brought cross-functional teams into alignment with accessible reporting, and built a product roadmap grounded in real customer data.
Déployer un agent IA, c'est la partie facile. Savoir ce qu'il fait réellement par la suite, c'est un tout autre problème.
C'est la question à laquelle les équipes produit se heurtent rapidement : l'agent est en ligne, les utilisateurs interagissent avec lui, et soudain la question la plus fréquente dans la salle est « Pourquoi l'IA a-t-elle fait ça ? » Les outils d'analyse traditionnels n'ont pas été conçus pour y répondre. Les journaux d'événements aident, mais seulement jusqu'à un certain point. Et sans visibilité réelle sur la façon dont les agents raisonnent et répondent, les équipes se retrouvent à tâtonner — sur ce qui fonctionne, ce qui dysfonctionne, et ce qu'il faut construire ensuite.
RF-SMART connaissait ce défi de première main.
Depuis plus de 40 ans, RF-SMART aide les organisations à optimiser leurs opérations d'entrepôt, de gestion des stocks et de chaîne d'approvisionnement. Son logiciel aide les clients qui travaillent au sein de grands systèmes de planification des ressources d'entreprise (ERP) à exécuter des processus métier critiques plus rapidement et plus efficacement. Alors que l'IA commençait à remodeler les logiciels d'entreprise, RF-SMART s'est rapidement mobilisé pour explorer comment les agents IA pouvaient aider les clients à naviguer dans des workflows complexes, à accélérer l'intégration et à accomplir des tâches avec moins d'effort.
Mais la création de ces expériences a soulevé une question plus difficile : comment mesurer un agent — non pas seulement s'il fonctionne, mais pourquoi il se comporte comme il le fait ?
Pour y répondre, RF-SMART s'est tourné vers Pendo Agent Analytics.
Pour Elliot Land, Innovation Product Owner chez RF-SMART, la valeur de l'IA se résume à une chose : aider les clients à accomplir davantage.
« La révolution de l'IA est là et bien présente, et les choses évoluent de plus en plus vite chaque jour. Pour nous, nos produits visent à améliorer l'efficacité des utilisateurs. C'est ce que nous faisons en définitive. »
—Elliot Land, Innovation Product Owner, RF-SMART
L'équipe considère l'IA comme une extension naturelle de la mission de RF-SMART.
« Qu'est-ce qu'un agent IA peut faire pour vous qui vous aide à économiser 10 minutes chaque jour, une heure par semaine, des jours sur une année ? » a déclaré Land. « Si nous pouvons vous offrir un mois supplémentaire dans l'année pour en faire plus, nous allons vous aider à être meilleur. »
Avec cette vision en tête, RF-SMART a commencé à développer des agents IA conçus pour simplifier l'intégration des produits et aider les clients à accomplir des tâches d'implémentation complexes de manière plus autonome. Lors d'une session Pendomonium, l'équipe a décrit cette initiative comme la prochaine évolution de son effort de longue date visant à rendre l'intégration des logiciels d'entreprise « simple, meilleure, plus rapide, plus forte. »
Mais à mesure que le développement s'accélérait, l'équipe a rapidement compris que mesurer l'IA nécessitait un état d'esprit différent de celui utilisé pour mesurer les logiciels traditionnels.
Comme de nombreuses organisations qui expérimentent l'IA, RF-SMART s'est d'abord concentré sur une question simple : l'agent fonctionne-t-il ?
« Avant d'avoir Agent Analytics pour mesurer les IA, la conversation portait simplement sur : est-ce que l'IA fonctionne ? Est-ce qu'elle fait ce qu'elle doit faire ? » a déclaré Land.
Cette approche était suffisante pour des tests de validation de concept, mais elle ne suffisait pas à soutenir le développement produit à long terme.
Les agents IA introduisent un niveau d'imprévisibilité auquel les équipes logicielles traditionnelles ne sont pas habituées à faire face. Comme Land l'a expliqué lors de sa présentation à Pendomonium, les équipes ne se contentent plus de mesurer les clics, les pages vues et les workflows. Elles mesurent le raisonnement, le contexte et la prise de décision. Une question fait inévitablement surface auprès des parties prenantes, des testeurs, des dirigeants et des clients :
« Pourquoi l'IA a-t-elle fait ça ? »
Répondre à cette question est devenu essentiel au moment où RF-SMART passait de l'expérimentation à la mise à l'échelle de ses initiatives IA.
L'équipe avait besoin d'un moyen de comprendre comment les utilisateurs interagissaient avec les agents, d'identifier rapidement les problèmes et de prendre des décisions plus éclairées sur ce qu'il fallait développer ensuite.
RF-SMART a mis en œuvre Pendo Agent Analytics aux côtés de ses outils de développement existants afin d'obtenir une visibilité sur les performances des agents, les interactions clients, et faire évoluer sa stratégie IA.
« Avec Agent Analytics en place, cela nous a permis de voir des tableaux d'ensemble plus larges, d'examiner d'autres métriques et d'effectuer des rapports plus avancés et plus matures sur notre agent IA, ce dont nous avions besoin pour évoluer. Ça fonctionne, maintenant améliorons-le. »
—Elliot Land
En ce qui concerne les fonctionnalités préférées, il y a un grand gagnant pour Land :
« Les conversations individuelles sont ma vue préférée dans Agent Analytics. »
Plutôt que de s'appuyer uniquement sur les journaux ou les rapports agrégés, Land examine régulièrement les interactions réelles des clients pour comprendre comment les utilisateurs s'engagent avec les expériences IA de RF-SMART.
« J'aime entrer et commencer à extraire aléatoirement des conversations individuelles, en examinant la vue des conversations dans Agent Analytics. »
La possibilité de relier directement les conversations à Session Replay offre à l'équipe un contexte encore plus approfondi.
« Avec ces deux vues vraiment liées ensemble, il devient très facile de vraiment comprendre l'expérience utilisateur, de savoir où ils en étaient à ce moment-là et ce qu'ils ont fait avec l'IA », a déclaré Land. La combinaison aide les équipes à passer rapidement des rapports de haut niveau à une investigation détaillée et à une compréhension au niveau de l'utilisateur.
L'un des principaux avantages découverts par RF-SMART est la possibilité de rendre les données de performance de l'IA accessibles au-delà des équipes d'ingénierie.
« C'est le meilleur outil dont nous disposons pour afficher les données de l'agent IA dont vous avez besoin dans les rapports afin de montrer aux gens comment il fonctionne. Il est également très utile de l'avoir dans un format que les PO, les PM et toute personne travaillant dans le produit peuvent voir et comprendre en un coup d'œil », a expliqué Land.
Il décrit l'expérience comme « un reportage technique non technique pour des personnes non techniques. »
Cette visibilité a contribué à créer une cohésion entre les équipes, permettant des échanges plus rapides, des boucles de rétroaction plus courtes et des décisions plus éclairées sur l'évolution des produits IA de RF-SMART.
Land a également mis en avant plusieurs avantages concrets ayant contribué à accélérer les cycles de développement de l'IA, notamment : un faible effort de mise en œuvre
Alors que RF-SMART continue d'étendre ses capacités d'IA, les retours clients restent le principal guide de l'entreprise.
« La source ultime de vérité sur ce que nous devrions construire et faire provient des retours et interactions des clients, que nous voyons désormais avec Agent Analytics », a déclaré Land.
L'équipe travaille en étroite collaboration avec les clients bêta, en utilisant Agent Analytics pour comprendre les schémas d'utilisation réels et identifier les comportements inattendus.
Land compare le développement de l'IA au fait de donner aux clients une collection d'ingrédients.
« Vous avez une idée de la façon dont vos ingrédients sont censés s'assembler dans la recette que vous souhaitez réaliser avec votre IA, mais je vous garantis que vos clients vont trouver une nouvelle façon de combiner ces ingrédients pour produire des résultats auxquels vous ne vous attendiez pas. »
Ces découvertes aident RF-SMART à identifier des opportunités d'innovation future, notamment des architectures d'IA plus modulaires capables de répondre aux besoins spécifiques des différents clients.
Pour Land, l'essentiel est de se lancer, d'apprendre rapidement et de prendre de l'élan.
« Mon conseil à tout autre propriétaire de produit travaillant sur un agent IA aujourd'hui serait de simplement lancer le premier », a-t-il déclaré. « Une fois que vous avez la recette, que vous voyez que c'est faisable et comment ça fonctionne, les résultats que vous obtiendrez vont ouvrir votre monde. »
Pour en savoir plus, consultez Le lightning round de RF-SMART à Pendomonium 2026: Comment optimiser l'onboarding, des applications aux agents.
Découvrez comment Pendo peut apporter de la valeur à votre organisation dès le premier jour
