Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
When Thomson Reuters’ tax and accounting division built a new artificial intelligence (AI) and machine learning (ML)-powered search engine for their Checkpoint Edge platform, they knew it would dramatically change how users engaged with their service. But they needed a way to understand how people were interacting with this new functionality so they could continue to improve the relevancy of the tool’s search suggestions—and the content behind them.
Thomson Reuters leveraged track events in Pendo to get insight into three critical stages of a user’s search experience, then correlated their findings with user NPS scores. This gave them a complete picture of the feature’s performance and how it was impacting user sentiment.
By using Pendo, the Thomson Reuters team has helped democratize usage data for this feature beyond their data science teams—encouraging non-technical stakeholders to learn about the user journey, empowering editors to better understand user search intent, and ultimately improving the product’s AI / ML capabilities and the relevance of the content being served.
Pour nous, « Pendo'ing » signifie résoudre les points de friction des utilisateurs en matière de suivi des guidages, d'expérimentation ou de sensibilisation. Nous intégrons également des analyses dans chaque user story que nous rédigeons — il y a donc toujours une composante de suivi des métriques que nous intégrons via Pendo.
Vinay Shukla, Chef de produit, Thomson Reuters
Dans l'univers des plateformes basées sur la recherche, mettre la bonne information entre les mains des utilisateurs au bon moment a toujours été l'enjeu central. Et avec l'essor de technologies telles que le machine learning (ML) et l'intelligence artificielle (IA), proposer du contenu pertinent aux utilisateurs n'a jamais été aussi prioritaire pour les entreprises — ni aussi efficace pour se démarquer de la concurrence. Mais comment les responsables produit peuvent-ils mesurer avec précision — et, in fine, améliorer — l'efficacité du ML / de l'IA dans des cas d'usage comme ceux-ci ?
La plateforme entière de Thomson Reuters repose sur la puissance de ses fonctionnalités de recherche. Leur produit Checkpoint Edge permet aux professionnels de la fiscalité et de la comptabilité d'effectuer des recherches et de trouver rapidement et efficacement les informations dont ils ont besoin. « En tant que plateforme de recherche, nous disposons d'un champ de recherche dans lequel les utilisateurs saisissent leur terminologie », a déclaré Vinay Shukla, ancien responsable produit chez Thomson Reuters. « Nous avons également une fonctionnalité appelée notre "boîte de suggestion automatique" qui s'affiche après que l'utilisateur commence à saisir ses termes [de recherche]. Nous avons développé des capacités d'IA pour commencer à suggérer des recherches recommandées en fonction de la saisie de l'utilisateur. »
Shukla et son équipe avaient besoin d'un moyen de mesurer les performances de cette fonctionnalité de suggestion automatique. Il souhaitait également pouvoir se concentrer sur les aspects comportementaux et psychologiques de la façon dont les utilisateurs interagissaient avec la fonctionnalité de recherche du produit. « [Nous voulions comprendre des choses comme] le moment où un utilisateur interrompt sa saisie ou ses frappes au clavier, ou le moment où un utilisateur modifie une requête que nous lui suggérons », a expliqué Shukla. « Ce type d'informations est vraiment précieux pour la maintenance future de nos capacités en matière d'IA / ML, qui nécessitent une grande quantité de données explicites et implicites. »
Shukla et son équipe se sont tournés vers les événements de suivi dans Pendo pour capturer trois critères clés différents dans le processus de recherche d'un utilisateur : (1) les premières saisies d'un utilisateur, après lesquelles il cesse d'entrer des données ; (2) si l'utilisateur a sélectionné ou non un élément dans les suggestions automatiques du menu déroulant ; et (3) la recherche finale de l'utilisateur. « Avec ces trois informations, nous commençons à ouvrir un vaste univers d'analyse pour déterminer si un utilisateur modifie sa requête — et ce qu'il saisit dans sa requête », a expliqué Shukla.
Il a noté que cette approche de suivi en trois volets permet à son équipe d'approfondir l'analyse des comportements des utilisateurs afin d'informer et d'améliorer en définitive les performances de leurs algorithmes ML / IA. « Ont-ils arrêté de taper ? Ont-ils remarqué que leur question était déjà disponible pour qu'ils puissent la rechercher ? Les [événements de suivi] nous donnent essentiellement un aperçu des performances de la [fonctionnalité de] suggestion automatique, et nous permettent également de commencer à voir la quantité d'informations dont l'IA de suggestion automatique avait besoin pour commencer à afficher des questions suggérées », a déclaré Shukla.
Shukla a noté que le suivi des événements dans Pendo a représenté une grande amélioration par rapport à leur méthodologie précédente, qui ne permettait pas de suivre le moment où la recherche d'un utilisateur est prise en compte. « [Avoir Pendo] a été formidable, car les personnes non techniques peuvent réellement extraire les données du tableau de bord Pendo et créer des tableaux croisés dynamiques à partir de celles-ci. Des analyses vraiment rapides peuvent désormais être effectuées par des personnes qui ne sont pas des data scientists », a-t-il déclaré.
La capacité à suivre ces événements et à comprendre l'engagement des utilisateurs a également été extrêmement bénéfique pour l'équipe éditoriale de Thomson Reuters. « Nous avons des rédacteurs qui créent du contenu pour notre plateforme en interne », a expliqué Shukla. « Ils ont été grandement responsabilisés pour analyser et examiner les types de requêtes que les utilisateurs saisissent. S'ils ont effectivement contribué à sélectionner certaines de ces requêtes, ils sont désormais en mesure de voir les retours sur les alternatives que les utilisateurs recherchent également. Il y a donc eu beaucoup d'autonomisation grâce à cet événement de suivi particulier. »
Shukla et son équipe exploitent désormais ces événements suivis pour mesurer le succès du produit Checkpoint Edge et en améliorer les fonctionnalités. « Si un utilisateur sélectionne du contenu dans le menu déroulant, alors cette fonctionnalité est un succès », a-t-il expliqué. « Cela nous a créé de nombreuses opportunités pour analyser les types de requêtes que nos utilisateurs saisissent réellement par rapport à ce qu'ils auraient pu voir dans le menu déroulant. C'est l'occasion pour nous de déterminer si nous devons améliorer la fonctionnalité ou repartir de zéro si les requêtes génèrent des informations non pertinentes. »
La corrélation entre les retours utilisateurs et les analyses a également ajouté une couche de contexte plus profonde à la façon dont l'équipe de Shukla mesure le succès de la fonctionnalité de suggestion automatique. En créant un segment d'utilisateurs ayant réalisé un événement suivi spécifique, puis en générant un rapport Net Promoter Score (NPS) rapport de ces utilisateurs et en le comparant à un segment qui n'a pas interagi avec l'événement suivi, il est mieux à même de comprendre l'impact de la fonctionnalité sur le sentiment des utilisateurs. « Il était vraiment important pour nous de voir les tendances de la façon dont les gens réagissaient en termes de NPS avec cette fonctionnalité », a expliqué Shukla.
Enfin, Shukla a souligné que la facilité d'extraction des données depuis Pendo a été un énorme avantage. « Le principal bénéfice est de pouvoir mettre ces données brutes devant les personnes qui effectuent le travail », a-t-il déclaré. « Il ne faut pas beaucoup d'efforts ni une longue courbe d'apprentissage pour extraire les données et filtrer les requêtes qui sont en vogue sur le marché en ce moment — surtout lorsqu'il s'agit de savoir ce que nos utilisateurs recherchent. »
Découvrez comment Pendo peut commencer à apporter de la valeur à votre organisation dès le premier jour
