Votre équipe a créé un agent IA, l'a mis à disposition des utilisateurs et a observé les premières requêtes arriver. Vous devez maintenant comprendre s'il s'intègre à leur quotidien professionnel.

Qui le découvre ? Qui l'essaie une fois et y revient à la prochaine occasion ? Où les utilisateurs se retrouvent-ils bloqués ? Et lorsque l'agent aide quelqu'un à terminer une tâche, l'amélioration vaut-elle ce qu'elle coûte à délivrer ?

Ces questions vous offrent un cadre pratique pour mesurer l'adoption des agents IA. Suivez le parcours de la découverte jusqu'à la réalisation des tâches, puis utilisez ce que vous apprenez pour améliorer l'expérience et mesurer à nouveau le retour sur investissement.

Les équipes produit doivent comprendre ce que les utilisateurs demandent, là où les interactions se bloquent, et ce qui se passe ensuite. Avec Pendo, les équipes peuvent relier les interactions avec l'agent à l'expérience produit globale et identifier les points où les utilisateurs ont besoin d'aide.

Définissez le travail que votre agent doit aider les utilisateurs à accomplir

Commencez par une tâche que vos utilisateurs cibles reconnaissent. Un assistant de reporting pourrait aider un administrateur à créer et partager un rapport hebdomadaire. Nommez la tâche, le public concerné et le résultat qui constitue un succès.

Pour cet assistant, le succès pourrait signifier qu'un rapport précis est enregistré et partagé dans les 24 heures suivant le démarrage. Cela vous donne un résultat à suivre tout au long de la conversation et dans le produit lui-même.

Distinguez les personnes, les tâches et les conversations. Une même personne peut accomplir plusieurs tâches, et une même tâche peut s'étendre sur plusieurs conversations. Si vous mesurez les tâches accomplies, utilisez un identifiant de tâche cohérent afin que les tentatives répétées ne faussent pas le comptage.

La fréquence de la tâche est également importante. Un reporting hebdomadaire donne aux utilisateurs une raison de revenir chaque semaine. Interprétez l'utilisation continue dans le contexte de la fréquence à laquelle les utilisateurs ont besoin de l'agent.

Pour les agents en arrière-plan ou proactifs, commencez par l'événement qui déclenche l'assistance. Suivez si l'agent propose de l'aide, si les utilisateurs l'acceptent et si le travail est accompli.

Suivez la découverte, la première utilisation et l'utilisation répétée

Commencez par trois questions : les utilisateurs peuvent-ils trouver l'agent, l'essaient-ils et y reviennent-ils ? Ces mesures complètent les 10 KPI essentiels pour mesurer les performances des agents IA en montrant comment l'agent s'intègre dans le travail des utilisateurs.

Découvrabilité : les utilisateurs trouvent-ils l'agent là où ils en ont besoin ? Utilisez Pendo Product Analytics pour comprendre où commence le travail concerné. Pour l'assistant de reporting, il peut s'agir de la page de reporting. Suivez le nombre d'utilisateurs éligibles auxquels son point d'entrée est affiché, puis utilisez des guides ciblés pour aider davantage de personnes à le trouver. Le fait qu'une invitation soit affichée ne garantit pas que quelqu'un l'a remarquée.

Première utilisation : les utilisateurs formulent-ils une première demande ? Créez un entonnoir depuis le point d'entrée de l'agent jusqu'à une première demande, en utilisant un segment de personnes n'ayant jamais utilisé l'agent auparavant. Assurez-vous que ces événements sont capturés. Si des utilisateurs abandonnent, testez une invitation plus claire ou une tâche de démarrage suggérée.

Utilisation répétée : les utilisateurs reviennent-ils ? La métrique de rétention intégrée d'Agent Analytics mesure le pourcentage de visiteurs ayant soumis des invites au cours d'au moins deux semaines différentes dans la plage de dates sélectionnée, parmi l'ensemble des visiteurs ayant soumis des invites durant cette période. Choisissez une période de reporting qui offre aux utilisateurs une réelle opportunité de revenir.

Examinez les cas d'usage et les comptes qui se cachent derrière la moyenne. Pendo Agent Analytics vous aide à explorer ce que les utilisateurs demandent et les problèmes qu'ils rencontrent. Utilisez ces résultats pour comprendre ce qui les fait revenir et ce qui les décourage.

Mesurez le travail accompli et les points d'abandon

Une fois que les utilisateurs se servent de l'agent, vérifiez s'ils accomplissent la tâche pour laquelle ils sont venus.

Prenons l'exemple d'un mois hypothétique au cours duquel les utilisateurs lancent 600 tâches de reporting et produisent 420 rapports exacts, enregistrés et partagés dans les 24 heures. Le taux d'accomplissement des tâches est de 70 %. Comptabilisez tous les démarrages de tâches, y compris les tentatives qui échouent ou s'interrompent, et accordez à chaque tâche sa fenêtre d'accomplissement complète avant de générer le rapport.

Pendo's les métriques de succès personnalisées vous permettent de définir des conversations réussies. Les métriques d'événements permettent de suivre si les conversations mènent à des actions produit spécifiées ; les métriques hybrides combinent des règles de succès de conversation avec ces actions. Si vous avez besoin d'un taux de complétion de tâches sur plusieurs conversations, suivez et dédupliquez les tâches séparément.

Intégrez la qualité dans la définition. Un rapport partagé contenant des données incorrectes nécessite toujours une attention. Examinez un échantillon du travail accompli et tenez compte du temps que les utilisateurs consacrent à le vérifier ou à le corriger.

Analysez les tâches incomplètes pour comprendre si les utilisateurs ont rencontré un problème, ont eu besoin d'une aide humaine, ou ont terminé à un endroit que votre suivi n'a pas pu observer. Définissez à quel moment vous considérez qu'une tâche est abandonnée, et suivez séparément les transferts vers un agent humain. Le fait qu'une conversation devienne silencieuse ne signifie pas nécessairement que l'utilisateur a abandonné.

Utilisez les problèmes d'agent et les chemins produit pour comprendre où le travail s'est arrêté. Distinguez les demandes non prises en charge des étapes suivantes peu claires, et gardez les résultats inconnus visibles afin que les données manquantes ne gonflent pas le taux de succès.

Utilisez Pendo pour résoudre le blocage d'adoption

Utilisez ce que vous apprenez pour choisir la prochaine amélioration.

Si les utilisateurs réussissent après avoir essayé l'agent mais que peu le découvrent, aidez davantage de personnes à le trouver. Si les gens le voient et formulent rarement une première demande, expliquez ce qu'il peut faire. S'ils l'essaient puis disparaissent, examinez l'expérience de la première tâche et si l'agent prend en charge une tâche qu'ils doivent répéter.

Pendo for Agents réunit Agent Analytics et Agent Toolkit. Agent Analytics vous aide à comprendre l'utilisation, les problèmes et les résultats. Agent Toolkit, disponible en bêta ouverte, fournit aux agents le contexte produit et utilisateur pour qu'ils puissent offrir une aide plus pertinente.

Pour l'assistant de reporting, cela pourrait signifier afficher un guide Pendo pertinent lorsqu'un utilisateur peine à enregistrer un rapport, en s'appuyant sur ce qu'il a déjà fait. Configurez les fonctionnalités dont votre agent a besoin, puis mesurez si les utilisateurs accomplissent la tâche plus souvent. Agent Toolkit et Agent Analytics ont chacun leur propre configuration.

Votre équipe peut également étudier l'adoption à partir de ses outils d'IA existants. Avec Headless Pendo, un chef de produit peut interroger directement Claude sur les cas d'usage et les problèmes liés aux agents, puis intégrer les données d'utilisation produit et les retours dans l'investigation.

À partir de là, enregistrez une audience concernée et rédigez un guide in-app pour le workflow de reporting. Une personne examine et active le guide. Ensuite, vérifiez si davantage d'utilisateurs réussissent et si le changement en valait la peine.

Le travail utile d'un agent peut s'étendre sur des conversations, des outils connectés et l'interface du produit. Incluez ces expériences lors de l'évaluation de l'adoption afin de pouvoir suivre le travail jusqu'à son résultat.

Rendre la comparaison équitable

Comparez des utilisateurs similaires effectuant un travail similaire sur des périodes comparables, en appliquant les mêmes critères de réussite et de qualité. Accordez aux utilisateurs suffisamment de temps pour terminer, et tenez compte des autres changements susceptibles d'influencer les résultats. Un taux de complétion plus élevé parmi les utilisateurs de l'agent indique une association ; un déploiement aléatoire ou une comparaison contrôlée soigneusement conçue peut aider à isoler la contribution de l'agent. Incluez les personnes auxquelles l'accès a été attribué mais qui ne l'utilisent jamais.

Les expériences Agent Analytics permettent aux équipes de comparer des configurations, des modèles, des outils et d'autres groupes. Ce que vous pouvez attribuer à un changement dépend de la façon dont les participants sont assignés et des conditions comparées.

Relier l'adoption réussie au ROI, puis l'améliorer

Pour un assistant de reporting interne, le temps économisé est une façon d'estimer la valeur. Comparez l'effort total requis avec et sans l'agent, y compris la révision et les corrections.

Supposons que les 420 tâches accomplies au cours de notre mois hypothétique permettent chacune d'économiser cinq minutes par rapport au même travail sans l'agent. Cela représente 35 heures au total. Sur la base d'un coût de main-d'œuvre chargé supposé de 60 $ de l'heure, la valeur estimée du temps économisé est de 2 100 $.

Si le coût total alloué à l'agent pour ce mois est de 1 400 $, la valeur nette estimée est de 700 $. Divisez 700 $ par 1 400 $ pour obtenir un ROI modélisé de 50 %.

Incluez dans le coût les frais de mise en œuvre, de modèle et d'infrastructure, de maintenance, d'évaluation et de supervision humaine. Cet exemple suppose des taux de complétion et une qualité comparables, sans effort supplémentaire pour les tâches incomplètes. Tenez compte de ces différences si elles évoluent.

Le temps gagné crée de la capacité ; il se traduit en économies réelles lorsque les dépenses diminuent. Pour un agent orienté client, déterminez comment l'amélioration des résultats clients bénéficie à votre entreprise avant d'y associer une valeur financière. Utilisez les coûts d'exploitation réels et évitez de comptabiliser deux fois le même travail. Notre guide sur comment les product builders peuvent prouver le ROI de l'IA approfondit cette analyse de rentabilité.

Après chaque modification, vérifiez si davantage d'utilisateurs accomplissent la tâche, si la qualité est maintenue et si le bénéfice justifie le coût. Répétez la comparaison en appliquant les mêmes critères et en prenant en compte l'intégralité des coûts.

Commencez par un seul agent et une seule amélioration

Choisissez une tâche que votre agent devrait simplifier. Définissez qui peut l'utiliser, comment les utilisateurs le découvrent, à quoi ressemble un travail réussi et quand ils auront une raison d'y revenir.

Identifiez où l'adoption se bloque, utilisez Pendo pour comprendre et améliorer cette expérience, puis mesurez le résultat par rapport au coût total. Vous disposerez ainsi d'une base plus claire pour étendre un cas d'usage réussi, améliorer un cas faible ou concentrer vos investissements là où l'agent crée le plus de valeur.

Explorer Pendo for Agents pour relier l'adoption de l'agent, le contexte produit et les résultats qui vous aident à décider de la prochaine étape.