Si vous utilisez des guides in-app pour l'onboarding, les annonces de fonctionnalités ou la formation produit, vous vous êtes probablement demandé : Est-ce que ça fonctionne vraiment ?
La plupart des équipes se fient à leur intuition. Vous pensez peut-être que les guides intégrés sont plus performants que les superpositions. Ou que le contenu vidéo génère plus d'engagement que le texte. Mais sans test A/B, vous ne faites que deviner — vous essayez une approche, vous attendez des semaines, puis vous en essayez une autre. Vous ne savez jamais vraiment ce qui a fait la différence.
Pendo Guide Experiments change la donne. Il s'agit d'une fonctionnalité de test A/B intégrée directement dans Pendo Guides, qui vous permet de tester deux variantes simultanément, de mesurer la conversion par rapport à un objectif spécifique et d'obtenir des scores de confiance statistique sur l'approche qui génère réellement des résultats.
Le meilleur dans tout ça ? Si vous disposez déjà de Guides Pro, vous pouvez commencer à exécuter des expériences dès aujourd'hui. Voici trois méthodes éprouvées pour utiliser Guide Experiments afin de valider ce qui fonctionne et de démultiplier vos succès.
1. Testez les formats de guide et les messages pour favoriser l'adoption des fonctionnalités
Soyons honnêtes : la plupart d'entre nous ont déjà créé un guide que nous pensions brillant, pour le voir ensuite ignoré. Vous avez passé du temps à rédiger le titre parfait, à choisir les bonnes couleurs, peut-être même à ajouter des animations. Et puis... rien.
Avec les expériences de guide, vous pouvez arrêter de deviner et commencer à tester ce qui fait vraiment bouger les choses.
Voici un exemple concret : une équipe produit faisait la promotion d'événements de formation des utilisateurs via des guides intégrés au produit. Elle avait toujours utilisé des annonces textuelles avec un appel à l'action « S'inscrire maintenant ». Cela fonctionnait bien, mais elle se demandait si elle pouvait faire mieux.
Ils ont donc mené une expérience : leur variante de contrôle était le guide textuel standard qu'ils avaient toujours utilisé. La variante de test était identique, à ceci près qu'elle incluait un clip vidéo de 10 secondes montrant un aperçu de l'événement avec le présentateur expliquant ce qu'il allait aborder.
Le résultat ? La variante vidéo a généré 18 % d'inscriptions supplémentaires.
En testant un simple changement de format, ils ont découvert une approche reproductible qu'ils pourraient utiliser pour des dizaines d'événements futurs. C'est là toute la puissance des expériences : trouver ce qui fonctionne une fois, puis le déployer à grande échelle.
Idées de tests potentiels :
- Guides axés sur le texte vs. guides à forte composante visuelle
- Descriptions de fonctionnalités vs. messages axés sur les bénéfices
L'essentiel est de se concentrer sur votre objectif de conversion. Ne testez pas juste pour tester. Demandez-vous : « Quel comportement utilisateur est-ce que j'essaie de modifier ? » Puis concevez vos variantes autour de ce résultat spécifique.
Comment le configurer :
Lorsque vous créez votre expérience dans Pendo, vous testez deux variantes (Variante A vs. Variante B, ou un guide vs. aucun guide). Pour l'exemple ci-dessus :
- Variante A : Guide textuel avec CTA « S'inscrire maintenant »
- Variante B : Même guide avec un aperçu vidéo de 10 secondes
- Métrique de conversion : Clic sur le bouton d'inscription
- Fenêtre d'attribution : 14 jours
Pendo suit les taux de conversion pour chaque variante et confirme quel guide a obtenu de meilleurs résultats à la fin de la période d'expérimentation. C'est à ce moment-là que vous promouvez le gagnant et le déployez à l'ensemble de votre audience.
Cette approche fonctionne pour tester n'importe quel élément de guide : titres, texte des boutons, ou même une diffusion intégrée par rapport à une diffusion en superposition.
2. Réduire les risques liés aux changements d'onboarding grâce à des déploiements contrôlés
Voici un scénario que vous reconnaîtrez peut-être : vous avez créé ce qui vous semble être le guide d'onboarding parfait. Il a été examiné par les parties prenantes, approuvé par le service juridique et peaufiné à la perfection. Vous êtes prêt à le déployer auprès de tous vos utilisateurs.
Mais que se passe-t-il si cela ne fonctionne pas ? Et si les utilisateurs l'ignorent, ou pire, le trouvent agaçant ?
Avec les expériences de Guide, vous n'avez pas à parier sur tout ou rien. Vous pouvez commencer par un déploiement contrôlé, par exemple 10 % de votre audience cible, et l'augmenter progressivement au fur et à mesure que vous validez les performances.
Cette approche fait deux choses :
Premièrement, elle protège vos utilisateurs d'une expérience potentiellement mauvaise. Si quelque chose ne fonctionne pas, vous le détectez tôt avec un petit échantillon plutôt que d'importuner l'ensemble de votre base d'utilisateurs.
Deuxièmement, cela vous donne des arguments pour les discussions internes. Au lieu que les parties prenantes demandent : « Pourquoi le guide ne performe-t-il pas mieux ? », vous pouvez répondre : « Nous avons testé trois approches, et celle-ci a généré 23 % d'adoption de fonctionnalités en plus. Voici les données. »
Ce passage de « nous pensons que cela fonctionne » à « nous savons que cela fonctionne » change la façon dont votre organisation aborde la messagerie intégrée au produit. Vous passez de décisions intuitives à une stratégie basée sur les données.
Comment fonctionnent les déploiements contrôlés dans Guide Experiments :
Il s'agit de l'une des fonctionnalités les plus puissantes de Pendo. Au lieu d'exposer l'intégralité de votre segment à un guide non testé, vous pouvez utiliser un pourcentage de déploiement pour commencer progressivement :
- Créez votre expérience avec le nouveau flux d'intégration
- Définissez votre déploiement initial à 10 % de votre segment cible
- Surveillez les taux de conversion et les scores de confiance au fur et à mesure que les données arrivent
- Augmentez progressivement le déploiement (20 %, 50 %, 100 %) au fur et à mesure que vous validez les performances
Vous pouvez ajuster le pourcentage de déploiement même lorsque l'expérience est active — inutile de l'arrêter et de la redémarrer. Cela signifie que vous pouvez démarrer prudemment, valider les premiers signaux et évoluer en toute confiance.
Par exemple, si vous testez une modification majeure de votre visite guidée du produit, vous pourriez la lancer à 10 % pendant 3 jours, vérifier votre score de confiance, puis la porter à 50 % si les résultats semblent positifs. Si la variante B n'est pas performante, vous pouvez réduire le déploiement ou terminer l'expérience plus tôt sans exposer l'ensemble de votre base d'utilisateurs à une expérience sous-optimale.
3. Construire un système d'apprentissage avec des segments basés sur des expériences
C'est là que Guide Experiments devient vraiment intéressant : vous pouvez créer des segments basés sur la variante que les utilisateurs ont vue dans une expérience. Cela signifie que vous ne testez pas seulement de manière isolée — vous construisez une base de connaissances sur la façon dont différents groupes d'utilisateurs réagissent à différentes approches de messagerie.
Supposons que vous meniez une expérience comparant une messagerie axée sur les fonctionnalités et une messagerie axée sur les avantages :
- Variante A : « Notre nouveau moteur de reporting vous permet de créer des tableaux de bord personnalisés avec des widgets glisser-déposer »
- Variante B : « Voyez exactement ce dont vous avez besoin, quand vous en avez besoin — sans attendre que quelqu'un d'autre crée des rapports »
La variante B l'emporte avec un taux de conversion supérieur de 15 % et un score de confiance de 96 %. Excellent ! Mais ne vous arrêtez pas là.
Créez des segments pour une analyse continue :
Une fois l'expérience terminée, accédez à Personnes > Segments dans Pendo et créez un nouveau segment en utilisant « Interactions avec les guides > Expérience » comme filtre. Vous pouvez créer des segments distincts pour :
- Les utilisateurs qui ont vu la variante A
- Les utilisateurs qui ont vu la variante B
Suivez maintenant leur comportement dans le temps. Les utilisateurs qui ont vu le message axé sur les avantages continuent-ils à utiliser la fonctionnalité de reporting de manière plus régulière ? S'étendent-ils aux fonctionnalités connexes ? Ont-ils des taux de rétention plus élevés après 30 jours ?
Cette vue longitudinale vous aide à comprendre non seulement ce qui motive l'action initiale, mais aussi ce qui conduit à un changement de comportement durable. Au fil de plusieurs expériences, vous identifierez des tendances :
- « Le texte axé sur les bénéfices surpasse systématiquement les listes de fonctionnalités pour notre persona X »
- « Les guides intégrés fonctionnent mieux pour les workflows complexes ; les superpositions conviennent aux conseils rapides »
- « Les utilisateurs mobiles réagissent mieux à des textes plus courts que les utilisateurs web »
Ces apprentissages deviennent votre savoir institutionnel — ils informent non seulement les futurs guides, mais aussi l'ensemble de votre stratégie de communication produit.
Remarque importante : Les segments basés sur la participation à une expérience ne peuvent pas être utilisés pour le ciblage des guides (cela évite de contaminer les futures expériences). Mais ils sont extrêmement précieux pour l'analyse, l'analyse de la rétention et la compréhension des comportements des utilisateurs à long terme.
Comprendre vos résultats : explication des scores de confiance
L'une des fonctionnalités les plus puissantes de Pendo Guide Experiments est le score de confiance. Il vous indique si vos résultats sont statistiquement significatifs ou simplement dus au hasard.
Voici comment cela fonctionne :
Lorsque votre expérience est en cours, Pendo suit les taux de conversion pour chaque variante et calcule la probabilité que la différence observée soit réelle — et non due au hasard. Une fois que votre score de confiance atteint 95 % ou plus, l'expérience est signalée comme « Significative ». Cela signifie que vous pouvez faire confiance aux résultats.
Ce que vous verrez :
Supposons que vous testiez deux guides d'intégration :
- Variante A : 100 vues, 15 conversions = 15 % de taux de conversion
- Variante B : 100 vues, 22 conversions = 22 % de taux de conversion
- Score de confiance : 92 %
À 92 %, vous êtes proche mais pas tout à fait au seuil de 95 %. Vous pourriez laisser l'expérience se dérouler plus longtemps pour recueillir davantage de données. Une fois que vous atteignez 95 %+, vous savez que la hausse de 7 points de pourcentage de la variante B est réelle, et vous pouvez la promouvoir en toute confiance auprès de votre audience complète.
Pourquoi c'est important :
Sans scores de confiance, vous pourriez voir la variante B afficher 7 points de mieux et supposer qu'elle est gagnante. Mais avec de petits échantillons, cette différence pourrait facilement être due au hasard. Un score de confiance de 95 % vous donne la certitude statistique que votre optimisation fonctionne réellement — vous n'envoyez donc pas de modifications basées sur des anomalies.
Vous pouvez survoler les résultats dans le récapitulatif de votre expérience pour afficher le score de confiance, ou exporter les résultats détaillés au format CSV pour une analyse approfondie.
Premiers pas : restez simple
Si vous débutez avec les expériences de guides, commencez simplement. Voici un premier flux de travail d'expérience éprouvé :
Étape 1 : Choisissez un guide que vous prévoyez déjà de lancer
N'expérimentez pas sur quelque chose qui fonctionne déjà. Choisissez une annonce de nouvelle fonctionnalité, un parcours d'intégration ou une campagne d'adoption que vous êtes sur le point de déployer.
Étape 2 : Créez une variation significative
Testez un seul élément à la fois : diffusion intégrée ou superposée, vidéo ou texte, titre court ou explication détaillée. Ne modifiez pas plusieurs choses simultanément ; vous ne sauriez pas ce qui a entraîné la différence.
Étape 3 : Définissez votre indicateur de conversion
Choisissez l'action spécifique que vous souhaitez que les utilisateurs effectuent : une vue de page (pour la notoriété), un clic sur une fonctionnalité (pour l'adoption) ou un événement de suivi (pour les workflows complétés). Assurez-vous que cette métrique est alignée avec votre objectif commercial réel.
Étape 4 : Configurez les paramètres de votre expérience
- Durée : Commencez par 2 à 3 semaines pour obtenir des données suffisantes
- Fenêtre d'attribution : 7 à 14 jours selon les comportements de vos utilisateurs
- Audience : Ciblez un segment spécifique (nouveaux utilisateurs, rôle spécifique, etc.)
- Déploiement optionnel : Commencez à 10-20 % si vous craignez les risques
Étape 5 : Laissez-le tourner, puis analysez
Ne regardez pas trop tôt. Attendez d'atteindre 95 % de confiance ou que votre durée expire. Demandez-vous ensuite : « Qu'ai-je appris ? Quels schémas puis-je appliquer à d'autres guides ? »
L'objectif n'est pas de tout tester en permanence. Il s'agit de développer une compréhension systématique de ce qui motive l'action dans *votre* produit avec *vos* utilisateurs.
La beauté de Guide Experiments est qu'il vous fait passer des tests séquentiels — où vous essayez une chose, attendez, puis en essayez une autre — à la comparaison simultanée. Vous ne vous demandez plus : « Est-ce que cela a mieux fonctionné que ce que nous avions le mois dernier ? » Vous vous demandez : « Quelle approche fonctionne le mieux en ce moment, avec les mêmes utilisateurs, dans les mêmes conditions ? »
C'est une bien meilleure question. Et vous pouvez désormais y répondre avec des données.
Réflexions finales
L'objectif de l'expérimentation n'est pas de tout tester en permanence. Il s'agit de développer une compréhension systématique de ce qui motive l'action dans votre produit. Chaque expérience doit vous rendre plus intelligent sur vos utilisateurs et plus confiant dans votre approche.
Commencez par une expérience. Apprenez quelque chose. Appliquez-le. Répétez.
C'est ainsi que vous construisez une stratégie de messagerie in-product basée sur les données qui fait vraiment bouger les choses.
Prêt à commencer à expérimenter ? Les expériences de guides sont disponibles pour tous les clients Guides Pro. Consultez la documentation complète pour en savoir plus.
