Vient alors la question que toute équipe produit développant de l'IA finit par se poser : est-ce vraiment utile ?
Pas « est-ce que ça tourne ? » — votre équipe infrastructure peut répondre à ça. La question plus difficile est de savoir si les utilisateurs s'y engagent, si l'IA gère ce qu'on lui soumet, et si l'expérience crée de la valeur ou frustre silencieusement les gens jusqu'à ce qu'ils abandonnent.
Ces réponses ne se trouvent pas dans vos journaux serveur.
C'est le fossé en matière d'observabilité et d'adoption de l'IA que Pendo comble de manière unique. Il aide les équipes à comprendre comment les utilisateurs interagissent avec les agents IA, ce qu'ils demandent, où les agents échouent, quels cas d'usage favorisent l'adoption, et si les interactions avec les agents améliorent les flux de travail ou créent de nouvelles frictions.
Et c'est une discipline différente de ce que couvre la plupart des contenus sur « l'observabilité des agents ». Cherchez le terme, et vous trouverez des guides sur le traçage distribué, la capture de spans, la surveillance des tokens et les standards OpenTelemetry.
C'est une infrastructure précieuse pour les ingénieurs qui maintiennent l'agent en vie. Mais les équipes produit ont besoin d'un niveau de visibilité différent : ce que les utilisateurs font réellement, s'ils réussissent, où les choses se dégradent, et si tout cela a un impact sur les résultats qui comptent pour votre entreprise.
Cet article décortique ce niveau. Les cinq signaux à suivre dès le premier jour, les deux endroits où les équipes se font piéger quand elles l'ignorent, et à quoi ça ressemble quand la bonne visibilité est en place.
L'observabilité de l'IA a deux définitions
Lorsque les ingénieurs parlent de « l'observabilité des agents », ou « l'observabilité de l'IA », ils désignent quelque chose de précis : tracer chaque appel de modèle, capturer les invocations d'outils, surveiller la latence, le coût en tokens et les taux d'échec au niveau de l'infrastructure.
Mais lorsque les équipes produit abordent ce sujet, elles entendent quelque chose de légèrement différent : comprendre comment les utilisateurs réels interagissent avec l'agent, ce qu'ils cherchent à accomplir, si l'expérience répond réellement à leurs attentes, et si cet investissement dans l'IA est rentable.
Ces questions distinctes, destinées à des publics différents, sont complémentaires et devraient coexister. L'observabilité de l'infrastructure vous indique comment votre agent fonctionne, et l'observabilité de l'utilisation de l'agent IA vous indique s'il apporte de la valeur.
La confusion entre les deux explique en partie pourquoi les équipes produit sous-investissent dans l'observabilité des agents. Elles supposent que la surveillance assurée par leurs homologues ingénieurs couvre l'ensemble du tableau, mais ce n'est pas le cas. Les données de trace peuvent vous indiquer qu'une conversation s'est terminée sans erreur, mais pas que l'utilisateur a posé la même question quatre fois, n'a pas obtenu la réponse dont il avait besoin et a abandonné votre agent. Elles ne peuvent pas vous dire qu'un type de demande spécifique reste systématiquement sans réponse, ou qu'un segment de comptes n'a jamais interagi du tout.
Ce sont ces signaux qui orientent les décisions produit. Et ils nécessitent un type d'observabilité entièrement différent.
5 signaux d'utilisation des agents IA à suivre, dès les premières phases bêta
Sans mesure, vous prenez des décisions de feuille de route et de croissance sans données pour les étayer.
1) Volume de prompts et tendances
L'utilisation est-elle en hausse, en stagnation ou en baisse après le pic de lancement ? Une courbe de rétention est le signal le plus honnête pour savoir si les utilisateurs trouvent l'agent suffisamment utile pour y revenir. Une stagnation après la fenêtre de nouveauté initiale mérite d'être examinée avant qu'elle ne devienne une tendance.
2) Distribution des cas d'usage
Que demandent réellement les utilisateurs ? C'est là que la plupart des équipes rencontrent leur première vraie surprise. Les cas d'usage adoptés ne sont pas toujours ceux qui ont été conçus. Comprendre la distribution des intentions vous indique où approfondir la couverture, où améliorer les réponses, et révèle parfois un cas d'usage à forte valeur que vous n'aviez jamais anticipé.
3) Signaux d'échec et de frustration
Où les utilisateurs répètent-ils le même prompt consécutivement, obtiennent-ils des réponses non prises en charge, ou abandonnent-ils une conversation à mi-chemin ? Certains d'entre eux s'emportent contre votre agent. Certains tapent en majuscules. Ils ne soumettent pas de tickets — ils expriment simplement leur frustration dans une zone de texte en espérant que quelque chose change.
Ces signaux sont plus précieux que le pouce vers le bas occasionnel et volontaire. Un pouce vers le bas nécessite un utilisateur encore suffisamment engagé pour vous donner un retour. Les prompts de rage et les saisies en majuscules proviennent d'utilisateurs véritablement bloqués, et ils apparaissent que quelqu'un décide ou non d'évaluer l'expérience. Ce ne sont pas non plus des bruits aléatoires. Ils se regroupent autour de lacunes spécifiques dans la couverture ou le comportement de l'agent.
4) Adoption par segment
Quels comptes ou cohortes d'utilisateurs s'engagent de manière régulière ? Lesquels ont essayé l'agent une fois puis ont disparu ? Les données d'adoption au niveau des comptes vous indiquent si vous avez un problème de portée, un problème de qualité, ou les deux. Elles vous indiquent également quels segments nécessitent une attention particulière avant la prochaine conversation de renouvellement.
5) Impact de l'agent sur le comportement global du produit
L'utilisation de l'agent est-elle corrélée à de meilleurs résultats dans le reste du produit ? Est-elle corrélée à une réalisation des tâches plus rapide, à un volume de support réduit et à une rétention plus forte ? Ou l'activité de l'agent existe-t-elle de manière isolée, déconnectée des résultats qui comptent vraiment pour votre entreprise ? La réponse à cette question est ce qui transforme une fonctionnalité IA en argument commercial.
Pourquoi l'observabilité des agents est importante
Faire évoluer ce qui fonctionne
Lorsque votre agent gagne en popularité auprès d'un segment d'utilisateurs, le réflexe est de considérer cela comme une victoire et de passer à autre chose. Mais une adoption sans visibilité est fragile.
Vous devez savoir quels cas d'usage stimulent l'engagement, quels segments d'utilisateurs en tirent le plus de valeur, et comment l'utilisation des agents est liée aux résultats qui comptent (comme la rétention, l'achèvement des tâches et l'impact sur les revenus). C'est ainsi que vous justifiez d'investir davantage, d'élargir la couverture et de prioriser la prochaine fonctionnalité avec confiance plutôt qu'à l'instinct ressentir.
Corriger ce qui se casse avant que les utilisateurs abandonnent
C'est le problème le plus difficile (et c'est aussi celui que la plupart des équipes sous-estiment).
L'IA n'est pas parfaite. Un utilisateur arrive, pose une question raisonnable, obtient une réponse mauvaise ou incomplète, et repart. Il ne crée pas de ticket. Il ne remplit pas de sondage. Il ne revient tout simplement pas.
Cette déperdition est le seau percé des logiciels agentiques, et c'est précisément ce que l'observabilité de l'IA agentique au niveau du produit est conçue à détecter. Le temps qu'une plainte remonte lors d'un QBR, ou que quelqu'un lève la main lors d'un appel client, vous avez déjà perdu des utilisateurs qui ont heurté le même mur et sont passés à autre chose discrètement. La boucle de rétroaction qui détecte normalement les problèmes de produit ne fonctionnent pas ici. Les utilisateurs qui vivent les pires expériences sont aussi les moins susceptibles de vous en parler.
Les équipes qui gardent une longueur d'avance n'attendent pas les retours pour identifier les problèmes. Elles surveillent les signaux : les invites répétées, les taux de requêtes non prises en charge, les schémas d'abandon de conversation. Lorsque vous pouvez constater qu'un type de question spécifique échoue systématiquement, vous pouvez agir en quelques jours plutôt qu'en plusieurs trimestres. Ce n'est pas seulement une meilleure expérience utilisateur experience. It's a retention strategy.
Ce qu'Agent Analytics révèle en tant que plateforme d'observabilité de l'IA
Pendo Agent Analytics est conçu spécifiquement pour les équipes produit qui intègrent des agents dans leurs produits. Il capture la façon dont les utilisateurs interagissent avec l'IA conversationnelle : ce qu'ils demandent, comment les conversations se déroulent, où les choses tournent mal, et comment l'utilisation des agents se connecte à tout ce que les utilisateurs font dans votre produit.
Voici ce que cela révèle :
- Conversations et invites à grande échelle. Consultez les invites réelles soumises par les utilisateurs et l'intégralité des fils de conversation, segmentés par cas d'usage, type d'utilisateur et compte. Pas des agrégats. La vraie chose.
- Détection automatique des cas d'usage. Agent Analytics regroupe les invites par similarité sémantique pour faire émerger les cas d'usage qui intéressent réellement vos utilisateurs, y compris ceux pour lesquels vous n'avez pas développé de fonctionnalité. Vous n'avez pas besoin d'étiqueter ou de catégoriser manuellement les intentions. Les tendances apparaissent d'elles-mêmes.
- Détection des problèmes et suivi des invites de frustration. Les échecs et les signaux de frustration sont signalés automatiquement. Lorsque les utilisateurs se répètent, atteignent des impasses ou abandonnent les conversations au même point, vous le voyez sans avoir à le chercher.
- Expériences. Comparez différentes configurations d'agents, invites ou modifications de couverture en face à face. Mesurez ce qui améliore réellement les résultats plutôt que ce que vous pensez pouvoir améliorer.
- Contexte multi-produit. Agent Analytics vit au sein de Pendo, ce qui signifie que vous pouvez relier le comportement des agents à tout ce que les utilisateurs font dans votre produit. Voyez ce que font les utilisateurs avant et après les interactions avec les agents, comment l'utilisation des agents est corrélée à la rétention et à l'accomplissement des tâches, et où les agents s'inscrivent dans le parcours produit global.
Comme l'a dit Christopher Penney, responsable produit chez OSAIC :
« Agent Analytics ouvre un tout nouveau niveau d'insight sur les besoins des clients. Ce avec quoi ils ont du mal, ce qu'ils demandent, sans avoir à le leur demander directement. »
La plupart des équipes découvrent trop tard que les métriques du jour de lancement ne tiennent pas, car elles n'avaient pas mis en place la couche d'observabilité nécessaire pour détecter les signaux avant qu'ils ne se transforment en désabonnement.
