Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
When Thomson Reuters’ tax and accounting division built a new artificial intelligence (AI) and machine learning (ML)-powered search engine for their Checkpoint Edge platform, they knew it would dramatically change how users engaged with their service. But they needed a way to understand how people were interacting with this new functionality so they could continue to improve the relevancy of the tool’s search suggestions—and the content behind them.
Thomson Reuters leveraged track events in Pendo to get insight into three critical stages of a user’s search experience, then correlated their findings with user NPS scores. This gave them a complete picture of the feature’s performance and how it was impacting user sentiment.
By using Pendo, the Thomson Reuters team has helped democratize usage data for this feature beyond their data science teams—encouraging non-technical stakeholders to learn about the user journey, empowering editors to better understand user search intent, and ultimately improving the product’s AI / ML capabilities and the relevance of the content being served.
Für uns bedeutet „Pendo'ing", Benutzer-Schmerzpunkte in Bezug auf Guidance-Tracking, Experimente oder Bewusstsein zu lösen. Wir integrieren außerdem Analytics in jede einzelne User Story, die wir schreiben – sodass es immer eine Komponente zur Verfolgung von Metriken gibt, die wir durch Pendo einbauen.
Vinay Shukla, Produktmanager, Thomson Reuters
In der Welt suchbasierter Plattformen war es schon immer das oberste Ziel, den Nutzern zur richtigen Zeit die richtigen Informationen bereitzustellen. Und mit dem Aufstieg von Technologien wie maschinellem Lernen (ML) und künstlicher Intelligenz (KI) war die Bereitstellung relevanter Inhalte für Nutzer für Unternehmen noch nie so sehr im Fokus – oder so wirkungsvoll zur Schaffung von Differenzierung. Doch wie können Produktverantwortliche die Wirksamkeit von ML / KI in solchen Anwendungsfällen präzise messen – und letztlich verbessern?
Die gesamte Plattform von Thomson Reuters basiert auf der Leistungsfähigkeit ihrer Suchfunktionalität. Ihr Produkt Checkpoint Edge ermöglicht es Steuer- und Buchhaltungsfachleuten, Recherchen durchzuführen und die benötigten Informationen schnell und effizient zu finden. „Als Suchplattform haben wir ein Suchfeld, in das Benutzer ihre Begriffe eingeben", sagte Vinay Shukla, ehemaliger Product Owner bei Thomson Reuters. „Wir haben auch eine Funktion namens ‚Auto-Suggest-Box', die erscheint, nachdem der Benutzer beginnt, seine [Such-]Begriffe einzugeben. Wir haben KI-Funktionen entwickelt, um basierend auf der Eingabe des Benutzers empfohlene Suchanfragen vorzuschlagen."
Shukla und sein Team benötigten eine Möglichkeit zu messen, wie gut diese Auto-Suggest-Funktion funktionierte. Außerdem wollte er in der Lage sein, die verhaltensbezogenen und psychologischen Aspekte zu untersuchen, wie Benutzer mit der Suchfunktion des Produkts interagierten. „[Wir wollten Dinge verstehen wie] wenn ein Benutzer seine Eingabe oder seine Tastenanschläge unterbricht, oder wenn ein Benutzer eine von uns vorgeschlagene Suchanfrage aufruft und modifiziert", erklärte Shukla. „Diese Art von Informationen ist wirklich wertvoll für die zukünftige Pflege unserer KI-/ML-Fähigkeiten, die viele dieser expliziten und impliziten Daten erfordern."
Shukla und sein Team griffen auf Track Events in Pendo, um drei verschiedene Schlüsselkriterien im Suchprozess eines Nutzers zu erfassen: (1) die ersten Eingaben eines Nutzers, bei denen er aufhört, Daten einzugeben; (2) ob der Nutzer etwas aus den automatischen Vorschlägen im Dropdown-Menü ausgewählt hat oder nicht; und (3) die endgültige Suche des Nutzers. „Mit diesen drei Informationen beginnen wir, eine riesige Welt der Analyse zu erschließen – ob ein Nutzer seine Anfrage ändert und was er in seine Anfrage eingibt", erklärte Shukla.
Er bemerkte, dass dieser dreigliedrige Tracking-Ansatz seinem Team ermöglicht, tiefer in das Nutzerverhalten einzutauchen, um letztendlich die Leistung ihrer ML-/KI-Algorithmen zu informieren und zu verbessern. „Haben sie aufgehört zu tippen? Haben sie bemerkt, dass ihre Frage bereits zur Suche bereitstand? [Track-Events] geben uns im Wesentlichen einen Einblick, wie gut die automatische Vorschlagsfunktion [Auto-Suggest] funktioniert, und ermöglichen es uns auch, zu erkennen, wie viele Informationen die Auto-Suggest-KI benötigte, um mit dem Anzeigen von vorgeschlagenen Fragen zu beginnen", sagte Shukla.
Shukla bemerkte, dass das Tracking von Ereignissen in Pendo ein großes Upgrade gegenüber ihrer früheren Methodik darstellt, die nicht bis zu dem Moment reichte, in dem die Suche eines Nutzers in eine Aktion umgesetzt wird. „[Pendo zu haben] war brillant, weil nicht-technische Mitarbeiter die Daten tatsächlich aus dem Pendo-Dashboard herunterladen und Pivot-Tabellen daraus erstellen können. Wirklich schnelle Analysen können jetzt auch von Nicht-Datenwissenschaftlern durchgeführt werden", sagte er.
Die Möglichkeit, diese Ereignisse zu verfolgen und das Nutzerengagement zu verstehen, war auch für das Redaktionsteam von Thomson Reuters äußerst vorteilhaft. „Wir haben Redakteure, die intern Inhalte für unsere Plattform erstellen", erklärte Shukla. „Sie wurden in hohem Maße befähigt, zu analysieren und sich anzusehen, welche Art von Suchanfragen die Nutzer eingeben. Wenn sie tatsächlich dazu beigetragen haben, einige dieser Suchanfragen zu kuratieren, können sie jetzt auch Feedback dazu sehen, nach welchen Alternativen die Nutzer suchen. Es hat also durch dieses spezielle Track-Event eine Menge Befähigung gegeben."
Shukla und sein Team nutzen diese verfolgten Ereignisse nun, um den Erfolg des Checkpoint Edge-Produkts zu messen – und dessen Funktionalität zu verbessern. „Wenn ein Benutzer Inhalte aus dem Dropdown-Menü auswählt, dann ist diese Funktion ein Erfolg", erklärte er. „Es hat uns viele Möglichkeiten eröffnet, die Arten von Suchanfragen zu analysieren, die unsere Benutzer tatsächlich eingeben, im Vergleich zu dem, was sie möglicherweise im Dropdown-Menü gesehen haben. Es ist eine Chance für uns herauszufinden, ob wir die Funktion verbessern müssen oder ob wir wieder von vorne anfangen müssen, wenn Suchanfragen irrelevante Informationen liefern."
Die Korrelation von Nutzerfeedback mit Analysen hat dem Team von Shukla auch eine tiefere Kontextebene hinzugefügt, wenn es darum geht, den Erfolg der Auto-Suggest-Funktion zu messen. Indem er ein Segment von Nutzern erstellt, die ein bestimmtes getracktes Ereignis abgeschlossen haben, dann einen Net Promoter Score (NPS)-Bericht für diese Nutzer generiert und ihn mit einem Segment vergleicht, das nicht mit dem getrackten Ereignis interagiert hat, kann er die Auswirkungen der Funktion auf die Nutzerstimmung besser verstehen. „Es war für uns wirklich wichtig, die Trends zu sehen, wie die Menschen in Bezug auf den NPS auf diese Funktion reagiert haben Net Promoter Score (NPS) Bericht dieser Nutzer und vergleicht ihn mit einem Segment, das nicht mit dem verfolgten Ereignis interagiert hat, kann er die Auswirkungen der Funktion auf die Nutzerstimmung besser verstehen. „Es war wirklich wichtig für uns, die Trends zu sehen, wie die Menschen in Bezug auf den NPS auf diese Funktion reagiert haben", erklärte Shukla.
Abschließend bemerkte Shukla, dass die einfache Datenextraktion aus Pendo ein großer Gewinn gewesen sei. „Der größte Vorteil ist, dass wir diese Rohdaten direkt den Personen vorlegen können, die die Arbeit erledigen", sagte er. „Es erfordert nicht viel Aufwand oder eine lange Einarbeitungszeit, um die Daten abzurufen und nach Suchanfragen zu filtern, die gerade auf dem Markt gefragt sind – insbesondere wenn es darum geht zu wissen, wonach unsere Nutzer suchen."
Erfahren Sie, wie Pendo Ihrer Organisation ab Tag 1 Mehrwert liefern kann
