Comment les créateurs de produits peuvent prouver le ROI de l'IA

Après des semaines de développement et de test d'un assistant IA, c'est un soulagement de voir les clients commencer à l'utiliser. Vient ensuite le moment où vous devez expliquer si le temps et l'argent ont été bien investis.

Les équipes produit ont de bonnes raisons de se préparer à cette conversation. Selon une récente enquête KPMG, 49 % des organisations ont déclaré avoir retardé ou réduit leurs déploiements d'agents IA lorsque les coûts ont commencé à dépasser les bénéfices.

Obtenir une réponse claire sur le ROI peut s'avérer étonnamment difficile. Votre assistant pourrait recevoir davantage de sollicitations pendant que des utilisateurs abandonnent toujours la configuration. Les clients pourraient apprécier ses réponses, mais passer du temps supplémentaire à les vérifier. Même des chiffres d'engagement encourageants vous laissent du travail à accomplir avant de pouvoir attribuer une valeur monétaire à l'amélioration.

Pour prouver le ROI de l'IA, commencez par une tâche que vos utilisateurs doivent accomplir. Mesurez si la fonctionnalité IA les aide à réussir, comparez le résultat avec l'expérience existante, et reliez l'amélioration à un bénéfice que vous pouvez valoriser. Incluez le coût total de développement et d'exploitation de la fonctionnalité.

Cela vous donne un argumentaire commercial que vous pouvez expliquer et une base pour décider ce que vous allez développer ensuite.

Commencez par la mission de l'utilisateur

Choisissez une tâche que votre fonctionnalité IA doit améliorer. Aider un nouvel administrateur à finaliser la configuration de son espace de travail vous donne quelque chose de concret à mesurer : une personne avec une mission précise, une séquence d'actions et un résultat clair.

Définissez le succès avant d'évaluer la fonctionnalité. Pour la configuration, cela pourrait signifier terminer la configuration requise en sept jours, sans erreurs nécessitant une intervention du support.

Identifiez ensuite qui a la possibilité d'utiliser l'assistant. S'il est disponible uniquement pour les administrateurs qui démarrent la configuration, mesurez l'adoption au sein de ce groupe. Utiliser l'ensemble des clients actifs comme dénominateur obscurcirait la mesure dans laquelle vous atteignez le public visé.

Suivez toutes les personnes qui démarrent le flux de travail, y compris celles qui l'abandonnent, rencontrent une erreur ou n'ouvrent jamais l'assistant. Vous aurez besoin de ces expériences pour comprendre si la fonctionnalité améliore la configuration dans son ensemble.

Maintenez la qualité au même niveau que la complétion dès le départ. Un processus de configuration plus rapide apporte peu de valeur si les clients doivent revenir le lendemain pour corriger leur configuration.

Établir une base de référence crédible

Comparez le flux de travail IA avec l'expérience que les clients utiliseraient autrement. Il peut s'agir de votre interface existante, d'un processus assisté par le support ou d'une version du flux de travail sans l'assistant.

Utilisez la même définition de tâche et la même fenêtre de mesure pour les deux groupes. Tenez compte des différences en matière d'expérience client, de taille de compte et d'accès à l'aide. Un déploiement qui coïncide avec un flux d'intégration repensé nécessitera une attention particulière pour distinguer les effets.

Une expérience randomisée peut vous aider à attribuer une amélioration à la fonctionnalité IA. Choisissez comment affecter les participants en fonction de leur façon de travailler. Si les administrateurs d'un même compte partagent les responsabilités de configuration, affecter des comptes entiers peut vous donner une comparaison plus nette qu'affecter des individus.

Vous pouvez également tirer des enseignements de cohortes comparables ou d'une analyse avant-après. Soyez clair sur les limites. Les clients qui choisissent d'utiliser un assistant peuvent déjà être plus motivés ou plus à l'aise avec votre produit. Tenez compte de ces différences avant d'attribuer un taux de complétion plus élevé à l'assistant.

Mesurer l'utilisation parallèlement au succès des tâches

L'adoption vous permet de comprendre si les clients essaient la fonctionnalité. Pour évaluer sa valeur, suivez ce qui se passe après qu'ils l'ont essayée.

Pour un assistant d'intégration, un plan de mesure utile pourrait ressembler à ceci :

Interprétez l'engagement dans le contexte de la tâche. Un assistant qui aide quelqu'un à terminer sa configuration en deux échanges peut obtenir de meilleurs résultats qu'un assistant qui en nécessite dix. Un plus grand nombre de sollicitations peut refléter un intérêt croissant, des tentatives répétées sans succès ou une tâche plus complexe. Examinez les conversations et les données de complétion avant de décider quelle explication convient.

Pendo Agent Analytics aide les équipes à analyser les conversations, à identifier les cas d'usage et les problèmes, et à relier les interactions avec l'agent aux comportements ultérieurs dans le produit. Utilisez ce contexte pour déterminer où les clients réussissent et où ils se heurtent à des obstacles. Avec Headless Pendo, vous pouvez explorer l'adoption, la rétention et les problèmes liés à l'agent directement dans des outils connectés comme Claude et ChatGPT via le Pendo MCP, sans ouvrir l'application Pendo.

Vérifiez également la couverture de vos mesures. Si vous ne pouvez pas relier une conversation aux actions ultérieures de l'utilisateur, vous devrez peut-être combler un manque d'instrumentation ou d'identification avant de tirer des conclusions.

Examinez un échantillon de conversations en regard des résultats de tâche correspondants. Un assistant peut fournir une réponse utile tandis que le client peine encore à terminer sa configuration. Vérifier les deux vous aide à définir le succès en des termes qui reflètent l'expérience du client.

Relier l'amélioration à la valeur commerciale

Une fois que vous avez mesuré une amélioration, établissez ce qu'elle vaut.

Une exécution des tâches plus rapide peut libérer de la capacité. Moins d'escalades vers le support peut réduire le travail nécessaire pour servir les clients. Une meilleure activation ou rétention peut contribuer au chiffre d'affaires.

Chaque bénéfice nécessite une explication qui relie le changement observé à son effet financier. Si les employés gagnent du temps et l'utilisent pour traiter davantage de travail, décrivez la capacité et la production supplémentaires. Pour revendiquer des économies réalisées, identifiez les dépenses qui ont changé, comme la réduction des coûts fournisseurs, la diminution des heures rémunérées ou un recrutement évité.

La rétention requiert le même soin. Les utilisateurs récurrents trouvent peut-être de la valeur dans la fonctionnalité, mais vous devrez examiner les renouvellements, l'expansion ou un autre résultat commercial pertinent pour estimer l'effet sur le chiffre d'affaires. Étiquetez les projections et les hypothèses afin que les lecteurs puissent les distinguer des résultats observés.

Faites correspondre les coûts à la même période que les bénéfices. Incluez la mise en œuvre, l'instrumentation, les frais du fournisseur de modèle, l'infrastructure, la révision humaine et la maintenance.

Vérifiez également les chevauchements entre les bénéfices. Comptabiliser le même travail de support évité à la fois comme économies de main-d'œuvre et comme capacité supplémentaire du personnel reviendrait à surestimer le retour.

Apprenez de l'agent IA de Pendo

Notre expérience dans l'amélioration de Leo, l'assistant produit IA de Pendo, montre comment ce processus de mesure peut éclairer les décisions produit.

Grâce à Agent Analytics, l'équipe a identifié des clients posant des questions analytiques complexes auxquelles Leo avait du mal à répondre. Ils ont examiné la fréquence et les types de demandes, puis ont utilisé ces résultats pour prioriser les améliorations des outils quantitatifs de Leo.

Avant d'élargir le déploiement, l'équipe a testé les nouveaux outils avec une cohorte représentant 20 % de la base d'utilisateurs. Le taux d'incidents a diminué de 67 % pour cette cohorte.

Ils ont également constaté une augmentation de 61,3 % des visiteurs hebdomadaires récurrents sur les 60 jours précédents. Ce résultat d'engagement plus large couvre un périmètre différent de celui de l'expérience sur les outils.

L'équipe disposait de preuves pour étayer une décision produit : elle comprenait un problème récurrent des clients et avait testé si ses modifications amélioraient l'expérience. Le calcul du ROI financier nécessiterait l'analyse complémentaire des coûts et des bénéfices décrite ci-dessus.

Vous pouvez suivre le même processus pour votre propre fonctionnalité. Identifiez le problème, priorisez un correctif en fonction de son impact, et testez le résultat avant d'élargir le déploiement.

Utilisez les preuves pour décider de la suite

Intégrez votre recommandation dans le business case. Expliquez qui vous avez mesuré, ce que vous avez comparé, comment le résultat a évolué et ce qu'il a coûté pour produire ce changement.

Développez lorsque les clients atteignent le résultat visé et que le bénéfice justifie l'investissement. Concentrez la fonctionnalité sur un public plus restreint si c'est là que vous trouvez de la valeur. Si les résultats sont insuffisants, utilisez les données probantes pour décider d'améliorer l'expérience, de modifier le cas d'usage ou d'arrêter d'investir.

Vous pouvez prendre une décision utile avant que toutes les hypothèses financières soient arrêtées. Soyez précis sur ce que vous avez observé, ce que vous avez modélisé et ce que vous devez encore mesurer. Cela donne aux équipes produit, ingénierie et finance une base commune pour le prochain investissement.

Commencez par un workflow pour lequel vous avez besoin d'une vision plus claire du résultat.

Prêt à commencer à démontrer le ROI de votre propre agent IA ? Explorer Pendo Agent Analytics pour relier les interactions de l'agent aux résultats des utilisateurs et de l'entreprise.