C'est la question qui empêche les responsables technologiques de dormir la nuit. Après avoir dépensé des millions en outils d'IA, les équipes produit et informatique se grattent désormais la tête, cherchant à identifier l'impact commercial de ces investissements. 

Ce problème n'est pas nouveau : les concepteurs et les acheteurs de logiciels ont longtemps cherché à comprendre ce que les utilisateurs font dans l'application, ce qu'ils ressentent et si ces efforts portent leurs fruits. Désormais, l'IA générative et les agents transforment la façon dont les équipes mesurent le succès d'un logiciel. Il s'agit moins de mesurer les clics, les abandons et le temps passé sur les pages que de savoir quels types de résultats ces agents peuvent piloter. 

La seule façon de comprendre les performances des agents est de relier les données d'utilisation à ce que font les utilisateurs ensuite. Voici six questions que vous devriez poser à vos données d'agents IA, et ce qu'elles signifient. 

1. Pourquoi les utilisateurs interagissent-ils avec mon agent IA ?

Comprendre le « pourquoi » de l'engagement des agents vous aide à reproduire les succès et à corriger les points de défaillance. Si les utilisateurs n'interagissent avec eux que lorsqu'ils sont frustrés par votre produit SaaS traditionnel, il s'agit d'un problème d'expérience utilisateur, et non d'une victoire de l'IA. En revanche, s'ils préfèrent les agents au support humain parce que c'est plus rapide, c'est un signe positif.

Pour comprendre l'intention, analysez les principaux cas d'utilisation, le volume de conversations et le contexte utilisateur. Suivez ce que les utilisateurs faisaient avant une conversation avec un agent, quelles alternatives s'offraient à eux, et comment leurs habitudes d'engagement diffèrent selon les segments d'utilisateurs et les cas d'utilisation.

Vous serez en mesure d'identifier : 

  • Si les utilisateurs choisissent les agents en premier, ou y ont recours en dernier ressort
  • Comment les schémas d'engagement diffèrent entre les utilisateurs expérimentés et les nouveaux venus
  • Quels cas d'usage sont liés à vos utilisateurs les plus et les moins engagés

2. Les utilisateurs atteignent-ils leurs objectifs ? 

Les agents IA indiquent les volumes de conversations, mais pas si les utilisateurs ont atteint leurs objectifs. Pour répondre à cette question, vous avez besoin d'une visibilité sur ce que font les utilisateurs après avoir interagi avec vos agents IA dans votre application.

Pour ce faire, suivez le parcours complet, de la pré-interaction à l'invite de l'agent jusqu'au résultat commercial. Qu'est-ce qui a amené les utilisateurs à interagir avec votre agent d'assistance en premier lieu ? Voyez quand les conversations se terminent avec succès par rapport au moment où les utilisateurs abandonnent par frustration. Et assurez-vous de mesurer le comportement en aval : finalisent-ils leurs achats, terminent-ils l'intégration, ou retourner à votre produit ? 

Comprendre l'impact en aval des agents vous aidera également à répondre à : 

  • Quels cas d'usage mènent à des résultats positifs par opposition aux mauvais, comme les impasses, les tickets de support supplémentaires, les invites de frustration et les retours négatifs
  • Comment l'achèvement des tâches varie selon le segment d'utilisateurs, le cas d'usage ou la complexité d'une demande
  • Si les interactions avec l'agent favorisent ou nuisent à la rétention, l'engagement, la fidélisation et l'adoption

3. Quels types d'interactions avec l'agent génèrent des résultats commerciaux ? 

Pour investir efficacement dans votre feuille de route IA, vous devez savoir comment les agents vous aident à augmenter vos revenus, à réduire vos coûts et à diminuer vos risques. Cela signifie que vous avez besoin d'une visibilité sur ses principaux cas d'usage, ainsi que sur l'impact en aval, afin de faire davantage de ce qui fonctionne et de corriger ce qui ne fonctionne pas. 

Pour répondre à cette question, analysez les conversations par cas d'usage. Suivez quel type de conversation est corrélé aux conversions, à l'adoption des fonctionnalités, à l'expansion des utilisateurs ou au désabonnement. Quelles conversations affichent les taux de rétention et les ARR associés les plus élevés ? Quelles conversations sont liées à un taux de désabonnement plus élevé et à de mauvais scores NPS ? 

Interroger votre IA analytique vous aide à comprendre : 

  • Quels cas d'usage sont liés à des taux de conversion et de rétention plus élevés
  • Comment les interactions avec les agents affectent la valeur vie client (LTV) 
  • Si les agents cannibalisent accidentellement des interactions humaines à forte valeur ajoutée
  • Quels segments d'utilisateurs tirent le plus de valeur commerciale de l'aide de l'agent

4. Votre agent modifie-t-il le comportement des utilisateurs ? 

À court terme, les agents répondent aux questions. À long terme, les agents reconfigurent les flux de travail — la façon dont les utilisateurs naviguent dans votre produit, répondent à leurs besoins et accomplissent leur travail. 

Les employés et les clients qui utilisent des agents peuvent découvrir des fonctionnalités plus rapidement, nécessiter moins d'intégration ou suivre un nouveau chemin inattendu. La compréhension de ces schémas vous aide à optimiser la conception des agents et l'expérience produit globale.  

Pour comprendre cela, comparez les parcours utilisateurs avant et après l'agent. Suivez la manière dont les interactions avec l'agent influencent la découverte des fonctionnalités, le délai de rentabilisation et les chemins d'adoption du produit. Identifiez les nouveaux comportements des utilisateurs qui émergent de l'assistance par agent.

Une fois que vous aurez répondu à cette question, vous serez en mesure de comprendre : 

  • Quels nouveaux parcours utilisateurs émergent lorsque les agents guident la navigation
  • En quoi les utilisateurs assistés par un agent diffèrent en termes d'engagement et de fidélisation
  • Si votre agent améliore le sentiment général des utilisateurs via le NPS et le CSAT

5. Dans quoi devriez-vous investir ensuite ?

La plupart des équipes développent des fonctionnalités d'agent en se basant sur leur instinct plutôt que sur des données concernant ce dont les utilisateurs ont réellement besoin et ce qu'ils utilisent. 

Les feuilles de route IA, guidées par de véritables données comportementales, vous aident à réduire les dépenses R&D inutiles et les risques liés à la feuille de route. Cela nécessite de savoir quelles fonctionnalités fonctionnent et lesquelles ne fonctionnent pas, afin de pouvoir correctement prioriser, améliorer ou abandonner certains éléments de votre stack.

Pour déterminer cela, analysez les schémas de demandes non prises en charge afin d'identifier les fonctionnalités manquantes très demandées. Suivez les capacités existantes qui génèrent les résultats les plus probants, et détectez les besoins émergents des utilisateurs avant vos concurrents.

Ce à quoi vous pourrez enfin répondre :

  • Quelles capacités manquantes permettraient d'éliminer le plus de friction pour les utilisateurs
  • Quelles fonctionnalités d'agent existantes génèrent le plus fort impact métier
  • Quels nouveaux cas d'usage émergent des comportements utilisateurs
  • Où concentrer les efforts d'amélioration pour un ROI maximal

6. Quel type de données les utilisateurs finaux partagent-ils avec les agents ? 

Vous pouvez voir que les utilisateurs discutent avec des agents, mais vous ne savez pas s'ils partagent des informations susceptibles de créer des problèmes de conformité (comme des données clients, des processus internes, des informations concurrentielles ou des données personnelles). 

Si les utilisateurs partagent des informations très sensibles, vous avez besoin de protections adéquates pour éviter de futurs problèmes réglementaires et de conformité. Si vous déployez un nouvel agent IA auprès de vos collaborateurs, vous devez suivre : 

  • Si les utilisateurs partagent des données personnelles (PII), des données financières ou d'autres informations réglementées
  • Comment le comportement de partage des données varie selon le rôle de l'utilisateur ou le département
  • Quels types de conversations incitent les utilisateurs à partager des informations sensibles
  • Si les utilisateurs font suffisamment confiance à votre agent pour fournir du contexte à des questions complexes

Suivez les informations que les utilisateurs partagent volontairement par rapport à celles qu'ils protègent, et identifiez les tendances en matière de partage de données selon les différents rôles, départements ou cas d'usage.

Lorsque vos données logicielles et d'IA coexistent, vous pouvez comprendre l'impact total de vos investissements en IA. Pendo Agent Analytics est la première—et unique—solution conçue pour vous aider à faire exactement this. Obtenez une démo pour en savoir plus sur Agent Analytics.