Les agents IA sont déployés au sein de vos équipes produit, ingénierie, informatique et succès client. Très bien. Mais savez-vous s'ils sont vraiment utiles ?

La question peut sembler anodine, pourtant elle est sur toutes les lèvres. Après quelques années, les gens veulent savoir : quel est le retour sur investissement ? En quoi sommes-nous plus performants ? 

Pour vous aider à répondre à cette question, nous avons interrogé l'un de nos propres experts dans ce domaine, Pierce Healy. Il a cofondé Zelta.ai, et est aujourd'hui Directeur Senior des Produits IA chez Pendo. Pierce est pratiquement notre expert en IA maison, aidant nos clients et collègues (moi y compris) à mieux comprendre et utiliser l'IA. 

Voici ce qu'il avait à dire sur ce sujet. 

Étape 1 : Choisissez votre métrique étoile du Nord

L'erreur la plus courante que commettent les équipes lorsqu'elles mesurent la valeur de l'IA est de comparer les résultats à l'effort humain ou au temps économisé. Il est tout à fait normal de penser : « cela aurait pris 5 heures à un humain, donc nous avons économisé 5 heures. »

Mais dans de nombreux cas, l'agent accomplit quelque chose qu'un humain n'aurait pas pu faire du tout, comme créer un prototype dans un langage que personne dans l'équipe ne maîtrise, ou extraire des thèmes de milliers de tickets d'assistance et identifier des améliorations immédiates pour les résoudre. « La référence est effectivement infinie, ce qui rend le calcul sans signification », Pierce expliqué.

Au lieu de cela, vous devriez partir du résultat qui importe déjà à votre équipe et le mesurer. Cela varie selon l'équipe et la mission de votre agent : 

  • Le succès client s'intéresse au taux de résolution des tickets, au délai de résolution et au volume d'escalades.
  • Les équipes d'ingénierie s'intéressent à la vélocité des nouvelles fonctionnalités livrées, au délai entre la spécification et la mise en production.
  • Les équipes informatiques peuvent suivre la rapidité de provisionnement, la réduction des demandes manuelles, les évolutions de la dette technique et des dépenses, ainsi que les logiciels que les agents pourraient remplacer.
  • Les équipes commerciales doivent suivre le taux de conversion des ventes additionnelles ou la précision du scoring des leads. 

Le conseil de Pierce : quelle que soit votre équipe, choisissez une seule métrique. Assurez-vous qu'il s'agit de quelque chose que vous pouvez mesurer avant et après le déploiement de l'agent, et si vous ne pouvez pas définir à quoi ressemble « mieux », vous n'êtes pas prêt à mesurer le ROI. 

Étape 2 : Taguez votre agent et configurez les rapports

Vous devez maintenant répondre à la question : « Un tableau de bord ou un rapport peut-il me montrer que l'agent fait évoluer la métrique que j'ai définie à l'étape 1 ? » 

La plupart des équipes sautent cette étape, perdant ainsi toute visibilité sur la façon dont l'agent produit (ou ne parvient pas à produire) les résultats que vous avez choisis à l'étape 1. Une bonne instrumentation de l'agent devrait ressembler à ceci :

  • Signaux comportementaux plutôt qu'évaluations déclaratives. Les évaluations, c'est-à-dire la notation des résultats d'un agent par rapport à des réponses attendues avant sa mise en production, sont utiles pour que les équipes d'ingénierie s'accordent sur ce que signifie « correct », mais elles sont faciles à manipuler, subjectives à grande échelle et ne reposent pas sur ce qui se passe réellement dans la pratique. Ce que vous voulez vraiment, c'est ce que l'on observe, c'est un changement de comportement en aval. Moins de tickets sont-ils escaladés au Niveau 2 ? Les ingénieurs corrigent-ils moins de bugs ? C'est ce qu'il faut rechercher.
  • Configurez vos outils de mesure. Bien que la plupart des modèles d'IA incluent une certaine traçabilité et journalisation natives, ils n'offrent pas une visibilité complète sur la façon dont ces agents sont utilisés. Pour comprendre leur efficacité, vous avez besoin d'une visibilité totale sur la manière dont les personnes interagissent avec l'agent : ce qu'elles ont demandé, là où la conversation s'est interrompue en baisse, et ce qu'ils ont fait ensuite. Agent Analytics est le seul outil capable de faire émerger cette couche comportementale dans votre écosystème d'agents.
  • Suivez la portée de l'agent en parallèle des résultats. Pour les agents en arrière-plan (ceux qui exécutent des workflows sans qu'un utilisateur choisisse de les « utiliser »), l'adoption se présente différemment. Au lieu de mesurer le nombre d'utilisateurs qui ont cliqué dessus, mesurez si la portée de l'agent s'élargit ou se réduit en fonction des performances et s'il est de plus en plus sollicité pour agir de manière autonome au fil du temps.

Étape 3 : Traduire les métriques en ce qui importe vraiment pour la direction

Vous avez votre métrique étoile du nord et votre instrumentation. Il est maintenant temps de construire votre argumentaire commercial. 

  • Pour les responsables produit : le ROI est moins une question de coût, et davantage une question de validité stratégique. Les utilisateurs trouvent-ils cela utile ? Est-ce une façon plus efficace d'atteindre vos objectifs ? Cette capacité nous permet-elle de rester pertinents pour les 3 à 5 prochaines années ? Ouvrons-nous de nouveaux segments de marché ou des cas d'usage que nous ne pouvions pas servir auparavant ? Présentez la valeur des agents comme une positionnement, et non une réduction des effectifs.
  • Pour les responsables informatiques et opérationnels : Ils souhaitent en savoir plus sur l'efficacité. Reliez directement les performances de votre agent aux améliorations des niveaux de service, telles que les taux de résolution, les délais de provisionnement et la réduction des étapes manuelles. 
  • Pour les dirigeants et le conseil d'administration : Formulez cela en termes de résultats commerciaux, par exemple : « notre taux d'escalade client a diminué de 22 % au T2. » L'agent est le comment dans cette situation.

À mesure que les agents IA deviennent encore plus courants au sein des organisations, les dirigeants continueront d'avoir besoin d'un moyen de les gérer comme ils gèrent les équipes humaines : en voyant ce que chaque agent fait, quels accès il possède, et si son périmètre doit s'élargir ou se réduire en fonction de ses performances. 

Considérez cela comme une gestion d'agents : de la même façon qu'un manager examine le travail d'un nouvel employé avant de lui accorder plus d'autonomie, vous souhaiterez avoir une visibilité sur l'efficacité de chaque agent avant d'élargir ses permissions. 

Prêt à voir ce que vos agents font réellement ? Obtenez une démo d'Agent Analytics.