Les investissements dans l'IA agentique ont été significatifs et de plus en plus stratégiques. Il y a dix-huit mois, les agents IA relevaient principalement des programmes pilotes et des preuves de concept. Aujourd'hui, ils s'intègrent dans les flux de support client, l'intégration des employés, les bases de connaissances internes et d'innombrables autres processus au sein d'organisations de toutes tailles.
Les directeurs financiers ne se contentent plus d'observer les dépenses liées à l'IA de loin. Aujourd'hui, ils en assument la responsabilité budgétaire et exigent des comptes. Les conseils d'administration veulent savoir si l'IA est déployée et comment elle crée une valeur commerciale durable, ce qui rend le schéma suivant particulièrement intéressant à examiner.
93 % du budget IA des entreprises est consacré à la technologie elle-même, l'infrastructure, les modèles et le déploiement absorbant la grande majorité des dépenses. Les 7 % restants sont alloués au changement de comportement, adoption et la mesure nécessaires pour réaliser le retour sur cet investissement.
Ce n'est pas un manque d'ambition, cela reflète simplement l'état de l'écosystème d'outils au moment où les organisations ont commencé à déployer des agents à grande échelle. Les outils de création d'agents ont évolué rapidement. Les outils permettant de comprendre comment les utilisateurs les vivent sont encore en train de rattraper leur retard, et c'est dans cet écart que se perd une part significative de la valeur de l'IA disparaît discrètement.
Les agents peuvent être techniquement irréprochables, mais échouer quand même
Aujourd'hui, l'approche dominante pour surveiller les agents IA provient de la pile d'observabilité des développeurs : traces, spans, mesures de latence, consommation de tokens, détection des hallucinations, taux d'erreurs. Des outils comme LangSmith, Arize et Braintrust ont été conçus par des ingénieurs pour des ingénieurs, et ils font bien leur travail. Ils vous indiquent si votre agent est running and help you answer questions, like:
- L'agent a-t-il répondu ?
- Combien de temps cela a-t-il pris ?
- Quel était le coût par token ?
- A-t-il halluciné ?
- Où l'API a-t-elle échoué ?
Ce sont des questions nécessaires, mais elles ne sont pas suffisantes à elles seules.
Un agent peut sembler parfait, au premier abord — des réponses rapides, de faibles taux d'erreur, des traces nettes — et ne pas répondre pour autant aux besoins des personnes pour lesquelles il a été conçu. Il peut répondre rapidement aux questions tout en passant systématiquement à côté de ce dont les utilisateurs avaient réellement besoin. Il peut afficher une excellente disponibilité tout en étant largement inutilisé parce que les utilisateurs trouvaient plus simple d'ouvrir un ticket de support ticket.
Les responsables produit, en revanche, posent des questions d'observabilité différentes :
- Les utilisateurs ont-ils obtenu ce dont ils avaient besoin ?
- Où se sentent-ils frustrés ?
- Quels cas d'usage émergent réellement ?
- L'adoption est-elle en croissance ou en stagnation ?
- Cela vaut-il la peine d'être mis à l'échelle ?
Les deux ensembles de questions sont importants. Mais un seul vous indique si votre investissement en IA génère de la valeur commerciale, et pour la plupart des organisations aujourd'hui, cette colonne est largement non mesurée.
L'expérience hybride SaaS et agentique que personne ne suit
La raison structurelle pour laquelle mesurer les agents de manière isolée donne une image incomplète est que les utilisateurs ne font pas l'expérience des agents de manière isolée.
Dans la plupart des environnements d'entreprise, un agent s'inscrit dans une expérience logicielle plus large. Un utilisateur navigue dans un tableau de bord, rencontre un point de friction et se tourne vers un agent IA. Ce qu'il fait ensuite (qu'il accomplisse la tâche, ouvre un ticket d'assistance ou abandonne complètement) vous en dit bien plus sur la réussite de l'agent que la réponse de celui-ci itself. The full session is the unit of measurement that matters.
Lorsque ces données sont stockées dans des systèmes distincts, vous ne pouvez pas voir que les utilisateurs qui peinent avec un workflow particulier sont plus susceptibles d'abandonner l'interaction avec l'agent qui s'ensuit. Vous ne pouvez pas voir que votre agent répond à des questions qu'une interface mieux conçue aurait résolues d'elle-même. La transition des logiciels basés sur les clics vers les logiciels agentiques est happening across the entire user experience, and you need to be able to see it that way.
Pendo captures that full view: what users do before, during, and after agent interactions, in a single dataset, alongside all of your existing product analytics.
C'est la seule façon de comprendre ce qui se passe réellement à mesure que l'expérience utilisateur évolue. Et c'est ce à quoi Pendo Agent Analytics a été conçu pour répondre.
Ce que Agent Analytics mesure réellement
Lorsque Pendo a lancé Agent Analytics en juin 2025, le principe était simple : mesurer l'impact d'un agent IA devrait ressembler à la mesure de toute autre fonctionnalité produit importante.
Adoption. Profondeur d'engagement. Rétention. Achèvement des tâches. Et les signaux de friction qui prédisent l'abandon avant qu'il ne devienne du churn. Un an plus tard, ce cadre a tenu bon et s'est affiné autour d'un ensemble spécifique de métriques qui s'avèrent être les indicateurs avancés de la santé agentique. Les responsables produit doivent mesurer les métriques de performance des agents, comme :
- Taux de problèmes : La part des conversations où l'agent ne parvient pas à répondre au besoin de l'utilisateur. Guidages répétés, délais d'attente dépassés, réponses hors script. L'indicateur avancé de friction.
- Taux de Rage Prompt : Utilisateurs reformulant leurs requêtes à répétition, utilisant des majuscules ou envoyant rapidement des prompts en échec. L'équivalent conversationnel d'un clic de rage.
- Taux de rétention : La part des utilisateurs revenant vers l'agent au fil du temps. Le signal le plus clair d'une valeur durable par opposition à un simple effet de nouveauté.
Ce qui rend ces indicateurs clés significatifs, en plus des autres capturés dans Agent Analytics, c'est qu'ils sont suivis parallèlement au reste de l'expérience de l'utilisateur dans le produit. Un taux de problèmes en hausse de manière isolée est un signal. Un taux de problèmes en hausse Taux qui corrèle avec une forte baisse de l'adoption globale du produit ou de sa fidélisation est une intelligence exploitable.
Les mêmes principes qui permettent de créer de bons produits s'appliquent également aux agents
Pendo a été fondé sur deux convictions qui perdurent depuis le début.
La première : pour véritablement comprendre comment les utilisateurs vivent l'expérience d'un logiciel, vous avez besoin de plus d'un type de signal. Les données quantitatives vous indiquent ce que font les utilisateurs. Les retours qualitatifs vous indiquent ce qu'ils pensent. Le sentiment vous indique ce qu'ils ressentent. Les replays visuels vous montrent exactement ce qu'ils ont vu. Et les données conversationnelles — la cinquième et toute nouvelle dimension — capturent ce que les utilisateurs disent à votre agent et comment cela impacte leur expérience. Ensemble, ils vous donnent une vue d'ensemble complète.
La deuxième conviction est ce qui rend la première utile : l'analyse et l'accompagnement appartiennent au même outil. Comprendre où les utilisateurs rencontrent des difficultés n'a de valeur que si vous pouvez agir en conséquence. Une connaissance sans capacité de réponse n'est qu'une prise de conscience coûteuse.
Ces deux convictions s'appliquent directement aux agents IA. Agent Analytics étend toutes ces dimensions à l'IA conversationnelle : des métriques quantitatives comme le taux de problèmes, le taux de prompts rageurs et la rétention font apparaître des tendances à grande échelle ; Session Replay vous permet de regarder le le moment exact où la patience d'un utilisateur s'est épuisée ; le sentiment révèle ce que les utilisateurs ressentent à propos de ce qu'ils demandent ; et les signaux qualitatifs révèlent ce que les utilisateurs veulent que l'agent fasse et qu'il ne peut pas faire actuellement. Lorsqu'un point de friction apparaît dans l'une de ces dimensions, Pendo Guides permettent aux équipes produit d'agir immédiatement, sans sprint d'ingénierie.
Lorsque ces cinq signaux et la capacité d'y répondre sont réunis dans une seule plateforme, la question ne porte plus sur « comment l'agent fonctionne-t-il ? » mais sur « comment l'agent transforme-t-il la façon dont les utilisateurs se servent de mon produit ? »
Ce que vous avez déployé par rapport à ce que les utilisateurs veulent vraiment
Chaque agent est conçu avec un objectif précis : gérer les questions d'intégration, aider à la gestion des notes de frais, faire remonter la documentation pertinente. Ce sont les cas d'usage prévus : les flux de travail qu'une équipe a délibérément conçus et dans lesquels elle a investi. Mais les utilisateurs interagissent avec les agents à leur manière, posant des questions pour lesquelles l'agent n'a pas été conçu et tentant des flux de travail personne n'avait anticipé.
Pendo fait remonter ces cas d'usage émergents automatiquement grâce au clustering sémantique—en regroupant les invites par thème sans étiquetage manuel—afin que vous puissiez voir quels comportements stimulent réellement l'engagement, et quels cas d'usage prévus sont discrètement ignorés.
Pushpay, un fournisseur de paiements, a constaté que les utilisateurs abandonnaient les conversations après seulement trois ou quatre échanges avec Agent Analytics. En voyant exactement où drop-off was happening let the team redesign that specific experience based on real user requests rather than assumptions. They now use Agent Analytics for regular monitoring of their AI search tool, and have found users leveraging it decreased their time to access critical information from 1-2 minutes to 10 seconds.
Relier le comportement des agents aux résultats commerciaux
La question de mesure qui importe le plus à un directeur financier n'est peut-être pas explicitement l'adoption, mais plutôt le retour sur investissement. Et la façon de prouver le retour sur un investissement dans un agent IA est de relier les interactions de l'agent aux résultats commerciaux en aval.
Pendo réalise cela grâce à des entonnoirs de conversion et des comparaisons de parcours qui traitent l'agent comme une étape dans le flux de travail de l'utilisateur plutôt que comme un système distinct. Un utilisateur qui interagit avec l'assistant de réservation a-t-il un taux plus élevé de compléter une réservation ? L'employé utilisant l'outil de gestion des dépenses alimenté par l'IA clôture-t-il son rapport plus rapidement que celui qui suit le parcours traditionnel basé sur les clics ? La méthode agentique est-elle réellement meilleure que ce qu'elle a remplacé ?
Pour les déploiements à usage interne, le retour sur investissement est souvent mesuré en termes de main-d'œuvre : combien de requêtes routinières l'agent traite-t-il, et qu'est-ce que cela libère ? Pour les déploiements orientés client, cela se reflète dans les données de rétention et de satisfaction. Dans les deux cas, la preuve nécessite de relier l'interaction avec l'agent à ce qui se passe ensuite, ce qui n'est possible que possible lorsque les données se trouvent au même endroit.
Répondre aux questions sur le ROI de l'IA que votre conseil d'administration pose déjà
En ce moment même, quelqu'un dans votre organisation prépare une présentation sur le ROI de l'IA. Peut-être pour une réunion du conseil d'administration, une révision budgétaire ou un séminaire de direction. Et la vérité inconfortable, c'est que pour la plupart des organisations, cette présentation repose sur des métriques de déploiement — combien d'agents sont actifs, combien de requêtes sont envoyées, combien a été dépensé—car ce sont les seules données disponibles.
Les métriques de déploiement ne répondent pas à la question que les conseils d'administration posent réellement. Ils veulent savoir si l'investissement porte ses fruits, si les utilisateurs adoptent les outils et constatent des gains de productivité, et si cela constitue une base sur laquelle s'appuyer (ou une expérience coûteuse à abandonner). Ces réponses nécessitent un autre type de données, et pour l'instant, la plupart les organisations ne l'ont pas.
C'est l'écart que Agent Analytics comble. Il ajoute la couche que votre stack d'ingénierie n'a jamais été conçue pour fournir : l'expérience de l'utilisateur. Ce dont ils avaient besoin, s'ils l'ont obtenu, où ils ont abandonné, et ce que cela signifie pour savoir si vous développez, maintenez ou réduisez. Découvrez comment cela fonctionne dans cette vidéo.
