AI Agent Analytics est la pratique consistant à mesurer, analyser et optimiser les performances des agents IA afin de comprendre leur efficacité réelle et leur impact sur les résultats commerciaux.
Alors que les organisations développent et adoptent rapidement des agents et des flux de travail agentiques, allant des fonctionnalités vibe-coded aux systèmes autonomes de service client, le besoin d'analyses spécialisées est devenu crucial. Les analyses de produits traditionnelles n'ont pas été conçues pour suivre les interactions conversationnelles de l'IA, l'efficacité des invites ou les modèles comportementaux uniques des expériences pilotées par l'IA. AI Agent Analytics comble cette lacune en offrant une visibilité sur la manière dont les Utilisateurs interagissent réellement avec les agents, sur les cas d'utilisation qui apportent de la valeur et sur les points faibles des performances des agents.
Cette discipline émergente relie la vitesse de développement de l'IA à la validation par les Utilisateurs, garantissant ainsi que les agents que vous développez ou achetez offrent un retour sur investissement mesurable, plutôt que de devenir des expériences coûteuses que les Utilisateurs ignorent après un premier contact.
Les outils traditionnels d'analyse des produits suivent les clics, les pages vues et l'utilisation des fonctionnalités, mais les agents IA introduisent des modèles d'interaction fondamentalement différents qui nécessitent des mesures spécialisées :
Interactions conversationnelles vs pointer-cliquer : Contrairement aux fonctionnalités traditionnelles, les agents interagissent avec les Utilisateurs à l'aide d'invites en langage naturel et de conversations à plusieurs tours. Vous devez suivre le volume des invites, les taux de sélection des invites suggérées et la qualité des conversations : pas seulement les clics sur les boutons.
Utilisation basée sur l'intention : L'analyse des agents doit capturer *ce que les Utilisateurs essaient d'accomplir* (cas d'utilisation tels que « génération de code », « création de contenu », « analyse de données ») plutôt que simplement les fonctionnalités auxquelles ils ont accédé. Ce suivi des cas d'utilisation révèle si votre agent résout de réels problèmes ou s'il est utilisé à des fins non prévues.
Mesure de l'impact en aval : La question cruciale n'est pas « ont-ils utilisé l'agent ? », mais « l'agent a-t-il amélioré leur flux de travail ? ». AI Agent Analytics relie les interactions des agents aux comportements ultérieurs, en vérifiant si l'utilisation des agents est corrélée à une augmentation de la fidélisation, à une exécution plus rapide des tâches ou à des taux de conversion plus élevés.
Conformité et visibilité des risques : Avec les agents, vous devez surveiller ce que les Utilisateurs demandent, vérifier s'ils téléchargent des données sensibles et déterminer si les réponses des agents créent un risque réglementaire. Les analyses traditionnelles ne disposent pas de la visibilité au niveau des invites requise pour la gouvernance de l’IA.
Modèles de rétention propres à l'IA : Les Utilisateurs peuvent essayer un agent une fois et ne plus jamais revenir s'il ne leur apporte pas de valeur ajoutée. L'analyse des agents suit les taux de rétention spécifiquement pour les fonctionnalités d'IA, révélant si votre investissement dans l’agent génère un engagement durable ou une curiosité ponctuelle.
Pendo Agent Analytics a été spécialement développé pour répondre à ces exigences particulières, en reliant les données d'IA conversationnelle aux outils d'analyse du comportement, de Déroulé des sessions utilisateur et de Retours des utilisateurs auxquels les équipes produit font déjà confiance.
2026 marque un tournant pour les agents IA dans les logiciels d'entreprise. Les organisations passent des fonctionnalités expérimentales d'IA à des flux de travail agentiques à l'échelle de la production, avec des investissements qui devraient atteindre plus de 25 milliards de dollars à l’échelle mondiale. Pourtant, la plupart des entreprises déploient des agents sans disposer de l'infrastructure analytique nécessaire pour vérifier si ces investissements apportent réellement de la valeur.
À mesure que les agents IA deviennent indissociables des opérations commerciales (des chatbots du service client à l'automatisation des flux de travail en entreprise, en passant par les fonctionnalités vibe-coded générées à la vitesse du développement), les organisations ont besoin d'une visibilité complète sur leurs performances. La vitesse de développement de l'IA a dépassé les capacités analytiques traditionnelles, créant ainsi un angle mort dangereux : les équipes livrent des agents plus rapidement qu'elles ne peuvent vérifier si les Utilisateurs les trouvent réellement utiles.
Sans AI Agent Analytics, vous n'avez aucun moyen direct de savoir si vos agents tiennent leurs promesses en matière de rapidité, d'économies et de gains potentiels, ou si les Utilisateurs finissent par être frustrés après une seule utilisation et ignorent vos agents IA par la suite.
AI Agent Analytics aide les entreprises :
AI Agent Analytics apporte une valeur mesurable à plusieurs fonctions organisationnelles, en fournissant à chaque équipe des insights personnalisés pour optimiser ses objectifs spécifiques et stimuler les résultats commerciaux.
Les chefs de produit ont besoin d'une visibilité complète sur les performances des agents pour créer de meilleures expériences client et maximiser l'adoption. Agent Analytics fournit les insights basés sur les données nécessaires pour faire évoluer intelligemment les capacités des agents.
Par exemple, un chef de produit peut utiliser Agent Analytics pour comprendre à quelle fréquence les Utilisateurs reviennent vers un agent (fidélisation) et comment cela influe sur leur comportement en aval. Comme Pendo Agent Analytics est connecté aux données comportementales, aux retours des Utilisateurs, aux Déroulés des sessions utilisateur et aux outils de communication, les chefs de projet peuvent voir ce que font les Utilisateurs avant et après avoir interagi avec un agent, et les inciter à améliorer leur engagement et l'adoption via des guides ou des e-mails.
En tant que responsable informatique, vous devez vous assurer que les agents IA fonctionnent de manière sécurisée et conforme, et qu'ils génèrent un retour sur investissement. Vos employés utilisent-ils les agents comme ils le devraient ? Les agents exposent-ils l'entreprise à des risques réglementaires et de conformité ? Et surtout, vos investissements dans les agents IA sont-ils rentables ?
Les services informatiques ont besoin de capacités de surveillance et de gouvernance robustes pour gérer efficacement les déploiements d'IA dans l'entreprise. Agent Analytics fournit les mécanismes de surveillance et de contrôle nécessaires à une mise en œuvre responsable de l'IA.
Par exemple, un service informatique peut utiliser Agent Analytics pour comprendre les demandes les plus courantes soumises par les Utilisateurs, savoir s'ils téléchargent des informations confidentielles de l'entreprise et si les agents IA fonctionnent comme ils le devraient.
Les responsables financiers ont besoin d'indicateurs concrets pour évaluer les performances des agents IA par rapport aux objectifs commerciaux et optimiser la répartition budgétaire entre les différentes initiatives d'agents. Faut-il continuer à investir dans les agents IA ou faut-il réorienter ses stratégies d'investissement ?
Grâce à l'analyse des agents, les équipes financières peuvent découvrir que leur chatbot RH traite 60 % des demandes courantes des employés, ce qui permet d'économiser 200 000 dollars par an en temps de travail du personnel RH. Ce type de résultats permet de justifier facilement la poursuite — voire l'augmentation — des investissements dans l’IA.
Pendo Agent Analytics vous aide à enregistrer et à analyser toutes les utilisations des agents IA, y compris les invites soumises par les Utilisateurs, afin que vous puissiez suivre la manière dont les outils d'IA conversationnelle sont utilisés au sein de votre organisation.
L'analyse des agents vous fournit des tableaux de bord contenant des données sur les événements et des indicateurs clés de performance essentiels, notamment :
Principaux cas d'utilisation : Qu'est-ce que les Utilisateurs viennent faire chez votre agent ? Création de contenu, développement de code, apprentissage général et éducation, etc.
Exemple d’insight : Une entreprise SaaS a découvert que son agent du service clientèle consacrait 60 % de son temps à répondre à des « questions de facturation » et seulement 20 % au « dépannage des produits », ce qui a révélé une opportunité d'améliorer la documentation relative à la facturation et de réduire la charge de travail du service d'assistance, tout en mettant en évidence le fait que son agent ne traitait pas efficacement les problèmes techniques pour lesquels il avait été formé.
Volume des invites : Cet agent est-il utilisé ? Si oui, combien ?
Exemple d’insight : Après avoir lancé un agent de développement, une équipe d'ingénierie a remarqué que le volume de requêtes augmentait rapidement pendant les semaines de planification des sprints, mais chutait de 80 % pendant les sprints d'exécution : cela indiquait que l'agent était utile pour l'idéation, mais pas jugé digne de confiance pour la mise en œuvre réelle, signalant ainsi un déficit de capacités à combler.
Taux de rétention : Quand quelqu'un utilise cet agent, quelle est la probabilité qu'il revienne ?
Exemple d’insight : Une équipe produit a enregistré un taux de rétention de 73 % la première semaine pour son assistant d’IA, mais seulement 12 % d’utilisation après 30 jours, ce qui révèle que les Utilisateurs ont trouvé une valeur initiale à cet outil, mais que celui-ci n’est pas devenu un élément durable de leur flux de travail. Cela a conduit à mener une enquête pour déterminer quels cas d’utilisation favorisaient un engagement durable.
Utilisateurs: Combien d'utilisateurs uniques viennent voir cet agent ? Cette tendance est-elle à la hausse ou à la baisse au fil du temps ?
Exemple d’insight : Une équipe informatique chargée de surveiller l'adoption par les employés d'un agent IA interne a remarqué que le nombre de visiteurs stagnait à 40 % des utilisateurs cibles. La segmentation a révélé que des départements entiers ignoraient l'existence de l'agent, ce qui a conduit à des campagnes d'onboarding ciblées qui ont doublé l'adoption en 30 jours.
Taux des invites suggérées : Les invites genAI que vous recommandez sont-elles pertinentes et sélectionnées par vos Utilisateurs finaux ?
Exemple d’insight : Une entreprise de technologie financière a découvert que les utilisateurs sélectionnaient leur invite pré-rédigée « Calculer le paiement hypothécaire » à un taux de 8 %, mais que les invites personnalisées demandant « Afficher l'historique des Tendances des taux » apparaissaient 10 fois plus fréquemment, ce qui prouvait que leurs invites suggérées ne correspondaient pas à l'intention des utilisateurs et devaient être repensées.
Comptes : Combien de comptes arrivent chez vos agents IA ? De quels comptes s'agit-il ?
Exemple d'insight : Une entreprise SaaS B2B a constaté que les comptes d'entreprise (chiffre d'affaires annuel supérieur à 100 000 dollars) utilisaient son agent IA trois fois plus que les clients PME, ce qui indique que l'agent apportait une valeur disproportionnée aux segments à forte valeur ajoutée, justifiant ainsi la priorité accordée aux capacités de l'agent dans les conversations commerciales et l'Onboarding des entreprises.
Comme toutes ces informations sont disponibles pour les agents et pour des cas d'utilisation spécifiques, vous pouvez affiner chaque aspect de la performance de votre agent. Lorsqu'elles sont combinées avec l'analyse comportementale de Pendo et les capacités de Déroulé des sessions utilisateur, vous pouvez observer les sessions réelles des utilisateurs afin de comprendre *pourquoi* certaines métriques affichent une tendance à la hausse ou à la baisse, transformant ainsi les points de données en une stratégie produit exploitable.
Vous créez des flux de travail autonomes pour accroître la rapidité et les résultats. Mais pour justifier vos investissements dans des agents, vous devez comparer l'ancienne méthode utilisée pour accomplir cette tâche ou ce flux de travail en même temps que la nouvelle méthode. Si les agents ne permettent pas réellement aux utilisateurs de gagner du temps ou d'augmenter leur productivité, ils doivent être améliorés (ou supprimés complètement).
Cela porte l'analyse des indicateurs d'interaction à :
Fort de ces insights, vous pouvez identifier le meilleur parcours à suivre et agir rapidement. Cela vaut pour la plupart des agents, que vous les développiez et les vendiez ou que vous les achetiez pour votre personnel.
Pour les agents que vous développez et commercialisez, vous devez continuer à encourager l'adoption et justifier la poursuite des investissements. Cela est particulièrement important pour les équipes qui pratiquent le « vibe coding », où les agents IA ou les fonctionnalités générées par l'IA sont déployés à une vitesse sans précédent, ce qui crée un risque si la validation ne suit pas le rythme.
La meilleure façon de valider et d'améliorer vos agents est de :
En combinaison avec le mode Agent de Pendo, les équipes produit peuvent poser des questions en langage naturel telles que « Quels segments tirent le meilleur parti de notre agent ? » et obtenir une analyse complète en quelques secondes, ce qui permet de réduire le cycle d'itération de plusieurs semaines à quelques heures.
Pour les agents que vous achetez et déployez en interne, vous pouvez vous assurer d'éliminer les inefficacités et de prévenir les risques de non-conformité :
L'examen régulier des insights fournis par Agent Analytics favorise les améliorations continues, garantissant ainsi que les agents d'IA offrent une valeur constante et un retour sur investissement mesurable.
La mise en œuvre de l'analytique des agents IA ne nécessite pas de remplacer votre pile technologique existante ni d'attendre de longs déploiements à l'échelle de l'entreprise. Voici comment les équipes de pointe équipent leurs agents pour bénéficier d'une visibilité complète :
Commencez par répertorier tous les agents IA de votre organisation, qu'il s'agisse des agents que vous avez développés et déployés chez vos clients ou des agents tiers que vos employés utilisent en interne.
Les angles morts courants comprennent :
Agents en contact avec la clientèle : Chatbots, copilotes de produits, assistants IA intégrés à votre application
Agents internes : Outils de développement, assistants d'analyse de données, robots d'assistance RH/informatique
Fonctionnalités basées sur le vibe coding : Workflows et automatisations générés par l'IA, créés à partir d'invites en langage naturel
Outils d'IA tiers : ChatGPT, Claude, GitHub Copilot, ou autres applications LLM utilisées par vos équipes
Tous les agents n'ont pas la même fonction, il ne faut donc pas les suivre de manière identique. Définissez des indicateurs clés de performance clairs en fonction du rôle de l'agent :
Agents d'assistance : Taux de résolution au premier contact, taux d'escalade, satisfaction utilisateur
Agents de productivité : Gain de temps, taux d'achèvement des tâches, fréquence d'utilisation récurrente
Agents de revenus : Impact sur la conversion, influence de la montée en gamme, accélération du passage de l’essai à l’achat
Agents de développement : Qualité du code, vitesse de développement, taux d’erreurs
Choisissez une plateforme d'analyse capable de suivre les indicateurs spécifiques aux agents et de les relier au comportement général des utilisateurs. Capacités clés à privilégier :
Suivi au niveau des invites : Capturez ce que les utilisateurs demandent à vos agents, pas seulement le fait qu'ils les ont utilisés.
Catégorisation des cas d'utilisation : Classez automatiquement les invites dans des cas d'utilisation (par exemple, « génération de code », « création de contenu »).
Contexte comportemental : Reliez les interactions des agents à l’utilisation des produits en aval, à la fidélisation et aux résultats commerciaux.
Analyses de prompts suggérées : Suivre les invites pré-rédigées que les Utilisateurs sélectionnent par rapport aux entrées personnalisées
Pendo Agent Analytics fournit cette couche d'instrumentation complète, avec une version gratuite pour les équipes qui débutent dans l'analyse des agents.
Avant l'optimisation, comprenez votre état actuel :
L'analyse des agents n'est pas une implémentation « à configurer puis à oublier ». Développer des processus systématiques pour agir sur les Insights :
Revues hebdomadaires : Suivez les tendances du volume des invites, les nouveaux cas d'utilisation et les changements en matière de rétention.
Analyses approfondies mensuelles : Analysez quels agents génèrent un retour sur investissement et lesquels doivent être améliorés ou supprimés.
Stratégie trimestrielle : Ajustez les investissements des agents en fonction des données de performance — misez davantage sur ce qui fonctionne, corrigez ou supprimez ce qui ne fonctionne pas.
Plus de 14 000 entreprises font déjà confiance à Pendo pour ses données quantitatives, son feedback qualitatif et son déroulé des sessions utilisateur, associés à des guides in-app et à des outils de communication par e-mail. Agent Analytics étend cette plateforme éprouvée avec des fonctionnalités spécifiques à l’IA.
Les principales fonctionnalités qui distinguent Pendo :
En savoir plus sur Pendo Agent Analytics.
À quelle fréquence faut-il réévaluer le retour sur investissement ?<1>
Idéalement, les responsables produits et informatiques devraient évaluer les performances des agents chaque mois afin de s'adapter à l'évolution des conditions et des performances des agents.
Quels outils d'analyse sont disponibles pour évaluer les performances des agents IA par rapport aux objectifs commerciaux ?<1>
Une analyse complète des agents IA doit mesurer trois couches : (1) les indicateurs d'interaction tels que le volume des invites, la répartition des cas d'utilisation et le taux de sélection des invites suggérées; (2) les indicateurs de résultats, notamment l'achèvement des tâches, la satisfaction des utilisateurs et les taux de fidélisation; et (3) les indicateurs d'impact commercial tels que l'influence sur la conversion, l'attribution des revenus et les économies de coûts. Les meilleures plateformes relient ces trois couches afin de montrer comment les interactions des agents génèrent des résultats commerciaux concrets.
Puis-je suivre l'utilisation des agents IA dans différentes équipes et différents services ?<1>
Oui. Les plateformes modernes d'analyse des agents IA segmentent l'utilisation des agents par rôle utilisateur, service, type de compte et attributs personnalisés que vous définissez. Cette segmentation révèle quelles équipes tirent le meilleur parti des agents, où l'adoption est à la traîne et si différents types d'utilisateurs interagissent différemment avec les agents, permettant de cibler les efforts d'amélioration et de justifier le retour sur investissement par unité commerciale.
Quelle est la différence entre surveiller les agents IA que je développe et ceux que mes employés utilisent?
Bien que les deux nécessitent un suivi de l'utilisation, de l'adoption et du retour sur investissement, leurs priorités en matière d'optimisation sont différentes. Les agents que vous développez ont besoin de mesures d'adoption, d'analyses de cas d'utilisation et d'un impact sur la conversion en aval pour justifier la poursuite de leur développement. Les agents utilisés par vos employés nécessitent une surveillance de la conformité, une mesure de la productivité et une analyse coûts/bénéfices afin de garantir une utilisation responsable. Des solutions de pointe telles que Pendo Agent Analytics offrent des vues personnalisées pour ces deux scénarios au sein d'une plateforme unifiée.
Les données peuvent-elles être segmentées pour obtenir des Insights plus approfondis ?
Oui, Agent Analytics de Pendo prend en charge une segmentation détaillée par cohorte de clients, types d'agents, plages de dates et scénarios d'interaction.
Qu'est-ce qui distingue les interactions automatisées des interactions manuelles ?
Les interactions automatisées sont pilotées par l'IA sans intervention humaine, offrant une évolutivité et une rentabilité constantes.
Agent Analytics peut-il aider à identifier les améliorations potentielles dans les flux de travail des agents IA ?
Absolument. Des analyses détaillées peuvent mettre en évidence les goulots d'étranglement et les inefficacités, permettant une optimisation ciblée des flux de travail des agents.
Pendo est-il capable de suivre la satisfaction d’un utilisateur vis-à-vis des agents ?
Grâce aux outils de gestion du feedback de Pendo Listen, vous pouvez comprendre ce que les utilisateurs pensent des agents directement dans Pendo.