Entre le rythme de l'IA et nos signaux d'utilisation, une feuille de route fixe au-delà de cela n'a tout simplement plus de sens.
Cette réunion repose sur deux sources d'information : la première est le retour direct des clients, comme les bugs, les problèmes d'expérience utilisateur et les lacunes du produit, soumis via des guides de feedback continus dans notre interface. Bien que ces données soient qualitatives, nous pouvons en réalité les quantifier avec Pendo : nous pouvons mesurer combien d'utilisateurs rencontrent la même frustration, combien ont formulé la même demande, et la valeur des comptes derrière chaque priorité. Et lorsqu'un utilisateur est particulièrement engagé, nous cherchons à l'avoir en appel.
La deuxième source majeure est Issues dans Agent Analytics. Je suis le PM principal pour Leo, l'assistant produit IA de Pendo. Nous utilisons Agent Analytics chaque semaine pour mesurer Leo de la même façon que nous attendrions de nos clients qu'ils l'utilisent pour leurs propres agents. Ci-dessous, je partage deux exemples de ce que cela donne en pratique.
La barrière de sécurité qui faisait échouer des milliers de conversations utilisateurs
Lors du lancement de Leo, nous avons délibérément décidé de ne pas prendre en charge les questions pratiques. Des questions comme : « Comment créer un segment ? » « Comment mettre à jour ma feuille de route ? » Les utilisateurs posaient ces questions, et Leo les renvoyait vers la base de connaissances de Pendo.
Nous avons mis en place cette barrière de sécurité parce que Leo produisait des hallucinations sur ces questions. Nous ne l'avions pas encore connecté à une source de connaissances à jour, et nous ne voulions pas diffuser de mauvaises réponses. C'est la réalité des compromis continus que l'on fait lorsqu'on construit une feuille de route et développe un produit.
Bien que nous pensions agir de manière responsable, Agent Analytics nous a finalement montré que nous créions de la frustration.
Le détecteur de problèmes l'a signalé sans même que nous ayons à le demander : plus de 60 % de tous les problèmes dans Leo remontaient à cette unique cause racine. Un seul problème, répandu sur des milliers de conversations, revenant encore et encore. Sans Agent Analytics, nous n'aurions eu aucun moyen de comprendre la gravité de cette lacune alors que nous nous préparions à passer d'une bêta fermée à une version complète. Un PM ne peut pas prendre des décisions de priorisation basées sur les données sans des insights agrégés sur toutes les conversations utilisateurs. Grâce à ces données, nous savions que nous perdions de plus en plus la confiance des utilisateurs après une seule conversation avec Leo.
Pour résoudre ce problème, nous avons construit un sous-agent de connaissances dédié au sein de Leo, similaire à ses autres sous-agents pour des tâches comme l'analyse quantitative et la création de guides. Nous en avons ajouté un pour les connaissances, connecté à notre base de connaissances à jour, permettant à Leo de répondre avec précision aux questions pratiques plutôt que de les esquiver.
Du jour au lendemain, ce problème a disparu de notre liste de problèmes. Nous sommes passés de milliers de conversations signalées à zéro, grâce à une seule version architecturale.
Les utilisateurs pour lesquels nous n'avions pas conçu, et comment nous les avons trouvés
Le profil client idéal original de Leo était clair : des personnes qui ne connaissent pas Pendo, n'ont pas le temps d'apprendre l'analytique et souhaitent des réponses rapides à des questions simples. Lorsque nous avons lancé Leo au cours de l'année écoulée, cette cohorte s'est manifestée.
Cependant, une deuxième cohorte s'est également manifestée, et malheureusement, c'était une cohorte pour laquelle nous n'avions pas développé le produit : les utilisateurs avancés d'Analytics. Des champions de Pendo qui ont regardé Leo et se sont dit : vous venez de placer une interface conversationnelle par-dessus toutes mes données. Ils ont immédiatement commencé à poser des questions analytiques complexes, comme l'analyse de tunnels de conversion entre applications et des requêtes sur de grands ensembles de données. Leo ne pouvait pas les gérer correctement. Nous savions que ces limitations existaient, mais nous ne savions pas à quelle fréquence les utilisateurs les rencontraient, ni quelles lacunes causaient le plus de friction.
Grâce à Agent Analytics, nous avons créé des cas d'usage suivis pour quantifier la répartition : à quelle fréquence les utilisateurs posent-ils des questions simples que Leo gère bien, par rapport à la fréquence à laquelle ils se trouvent dans un territoire où les requêtes sont plus avancées et où l'expérience se dégrade ? Nous avons catégorisé par niveau de complexité et par intention : questions d'acquisition, questions d'adoption, questions de conversion, etc.
Le directeur principal de l'analytique de Pendo et moi-même avons analysé ces données et les avons utilisées pour séquencer les fonctionnalités à développer en premier. Le meilleur aspect était que nos données Agent Analytics déterminaient l'ordre dans lequel nous allions construire. Ce qui, comme tout chef de produit peut en témoigner, est bien préférable à l'intuition ou au fait de se fier à la voix la plus forte dans la salle. Nous savions, objectivement, la fréquence à laquelle les utilisateurs rencontraient chaque lacune et l'impact que nous pouvions attendre de chaque correction que nous apporterions.
En fin de compte, nous avons étendu les outils de Leo pour gérer ces demandes quantitatives plus complexes que la deuxième cohorte formulait.
Les évaluations indiquaient que nous étions prêts, mais nous avions besoin de plus
Avant de déployer les modifications d'outils auprès des milliers d'utilisateurs de Leo, nous devions savoir si elles amélioreraient véritablement l'expérience, ou si elles déplaceraient simplement le problème ailleurs. Nos évaluations semblaient bonnes (tout au vert).
La partie délicate est que nous ne faisons plus confiance aux évaluations seules. Au cours de la dernière année, notre équipe a continuellement développé et amélioré Leo, et nous avons constaté que vous pouvez avoir tout au vert dans votre suite d'automatisation de tests, puis le premier vrai utilisateur pose quelque chose que vos tests n'avaient jamais anticipé, et l'agent échoue. Les évaluations sont contrôlées, mais les utilisateurs ne le sont définitivement pas. Ajoutez à cela la nature non déterministe de ces modèles, et nous pourrions réussir tous les tests tout en échouant dès la première conversation.
Pour surmonter cet obstacle à une optimisation significative, nous avons mené une expérience dans Agent Analytics avant de déployer les modifications quantitatives à tous nos utilisateurs. Nous avons effectué un test A/B des nouveaux outils avec 20 % de notre base d'utilisateurs. Le résultat : une baisse de 67 % du taux de problèmes pour cette cohorte, sur de vrais utilisateurs, et non des robots synthétiques. Et parce que c'est connecté au contexte plus large du comportement des utilisateurs, nous pouvions suivre l'engagement des utilisateurs et les métriques de qualité de l'IA en parallèle.
C'est ce qui nous a donné la conviction de déployer ces changements backend significatifs plus largement. Plutôt que de nous appuyer sur des évaluations trop optimistes ou sur un simple coup de pouce ponctuel d'un utilisateur de test interne, nous disposons d'un moyen objectif et évolutif pour publier chaque nouvelle mise à jour de Leo en toute confiance.
Ce que nous avons observé depuis
Les nouveaux visiteurs de Leo sont en hausse de +16,1 % au cours des 60 derniers jours seulement. Plus significatif pour un PM, nos visiteurs récurrents hebdomadaires sont en hausse de 61,3 %. Ce qui m'indique que Leo représente une vraie valeur pour notre audience et n'est pas une nouveauté passagère.
Bien que la rétention soit en hausse, il reste encore des obstacles à surmonter. Je suis reconnaissant de disposer d'un processus cohérent pour prioriser en continu le temps de mon équipe et des ingénieurs sur la base de signaux utilisateurs réels : identifier le problème dans AA, cibler la cause profonde, apporter le bon changement d'infrastructure, valider avant le déploiement avec une expérience, puis observer la croissance de nos indicateurs clés.
Cette boucle est la façon dont nous gérons Leo, et c'est la même boucle que je recommanderais à tout PM qui développe un agent IA.
Connectez le contexte comportemental à tout agent que vous créez ou achetez, puis mesurez s'il fonctionne avec Pendo pour les agents IA. En savoir plus.
