Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
When Thomson Reuters’ tax and accounting division built a new artificial intelligence (AI) and machine learning (ML)-powered search engine for their Checkpoint Edge platform, they knew it would dramatically change how users engaged with their service. But they needed a way to understand how people were interacting with this new functionality so they could continue to improve the relevancy of the tool’s search suggestions—and the content behind them.
Thomson Reuters leveraged track events in Pendo to get insight into three critical stages of a user’s search experience, then correlated their findings with user NPS scores. This gave them a complete picture of the feature’s performance and how it was impacting user sentiment.
By using Pendo, the Thomson Reuters team has helped democratize usage data for this feature beyond their data science teams—encouraging non-technical stakeholders to learn about the user journey, empowering editors to better understand user search intent, and ultimately improving the product’s AI / ML capabilities and the relevance of the content being served.
私たちにとって「Pendo'ing」とは、ガイダンスのトラッキング、実験、または認知に関するユーザーの課題を解決することを意味します。また、作成するすべてのユーザーストーリーにアナリティクスを組み込んでいます。つまり、Pendoを通じて構築する指標のトラッキングコンポーネントが常に存在しています。
Vinay Shukla、プロダクトマネージャー、Thomson Reuters
検索ベースのプラットフォームの世界では、適切な情報を適切なタイミングでユーザーに届けることが常に最重要課題でした。機械学習（ML）や人工知能（AI）といったテクノロジーの台頭により、ユーザーに関連性の高いコンテンツを提供することは、企業にとってかつてないほど重要な関心事となっており、差別化を図るうえでもより効果的な手段となっています。しかし、プロダクトリーダーはこうしたユースケースにおけるML／AIの有効性を、どのように正確に測定し、最終的に改善していけばよいのでしょうか？
Thomson Reutersのプラットフォーム全体は、検索機能の力を基盤として構築されています。同社のCheckpoint Edgeという製品は、税務・会計の専門家が調査を行い、必要な情報を迅速かつ効率的に見つけることを可能にします。「検索プラットフォームとして、ユーザーが用語を入力する検索ボックスを備えています」と、Thomson Reutersの元プロダクトオーナーであるVinay Shukla氏は述べています。「また、ユーザーが検索語を入力し始めると表示される『オートサジェストボックス』という機能もあります。ユーザーの入力内容に基づいて推奨検索を提案し始めるAI機能を開発しました。」
Shuklaと彼のチームは、この自動サジェスト機能がどれほどうまく機能しているかを測定する方法を必要としていました。また、ユーザーが製品の検索機能にどのように関与しているかという行動的・心理的側面を詳しく把握できるようにしたいとも考えていました。「[私たちが理解したかったのは、例えば]ユーザーが入力やキーストロークを止めているとき、あるいはユーザーが私たちの提案しているクエリを修正しようとしているときのことです」とShuklaは説明しました。「そのような情報は、多くの明示的・暗示的データを必要とする私たちのAI／ML機能の将来的なメンテナンスにとって、非常に有益なものです。」
ShuklaとそのチームはPendoの トラックイベント Pendoのトラックイベントを活用して、ユーザーの検索プロセスにおける3つの重要な基準を把握する：（1）ユーザーが最初に入力し、データ入力を停止した時点の入力内容、（2）オートサジェストのドロップダウンクエリからユーザーが何かを選択したかどうか、（3）ユーザーの最終的な検索内容。「この3つの情報があれば、ユーザーがクエリを修正しているかどうか、そしてクエリに何を入力しているかを分析する広大な世界が開け始めます」とShuklaは説明した。
彼は、この3段階のトラッキングアプローチにより、チームがユーザーの行動をより深く掘り下げ、最終的にML / AIアルゴリズムのパフォーマンスを把握・改善できると述べた。「ユーザーは入力を止めましたか？自分の質問がすでに検索できる状態になっていることに気づきましたか？[トラックイベントは]オートサジェスト[機能]がどれだけうまく機能しているかを把握する手段となり、また、オートサジェストAIが候補となる質問を表示し始めるためにどれだけの情報を必要としたかを確認し始めることも可能にします」とShuklaは述べた。
Shuklaは、Pendoでイベントをトラッキングすることが、以前の方法論から大幅にアップグレードされたと述べました。以前の方法論は、ユーザーの検索が実行される瞬間をトラッキングする手前で止まっていました。「[Pendoを導入したことは]非常に素晴らしいことです。なぜなら、技術者でない人でも実際にPendoダッシュボードからデータを取り出し、ピボットを作成できるからです。データサイエンティストでなくても、非常に迅速な分析が行えるようになりました」と彼は述べました。
これらのイベントを追跡し、ユーザーエンゲージメントを把握する機能は、Thomson Reutersの編集チームにとっても非常に有益なものとなっています。「私たちは社内でプラットフォーム向けのコンテンツを執筆する編集者を抱えています」とShuklaは説明しました。「彼らは、ユーザーがどのような種類のクエリを入力しているかを分析・確認する力を大いに与えられました。実際にそれらのクエリのキュレーションに携わっていた場合、ユーザーがどのような代替手段を検索しているかについてのフィードバックも確認できるようになりました。ですから、この特定のトラックイベントを通じて、多くの権限付与がなされてきたのです。」
ShuklaとそのチームはCheckpoint Edge製品の成功を測定し、その機能を改善するために、これらのトラッキングされたイベントを活用するようになった。「ユーザーがドロップダウンからコンテンツを選択すれば、その機能は成功です」と彼は説明した。「これにより、ユーザーが実際に入力しているクエリの種類と、ドロップダウンに表示されていた内容を分析する多くの機会が生まれました。クエリが無関係な情報を提供している場合に、機能を強化する必要があるのか、それとも白紙に戻す必要があるのかを判断するチャンスです。」
ユーザーフィードバックを ユーザーフィードバック と アナリティクス と組み合わせることで、Shuklaのチームがオートサジェスト機能の成功を測定する方法に、より深いコンテキストの層が加わりました。特定のトラックイベントを完了したユーザーのセグメントを作成し、そのユーザーのネットプロモータースコア（NPS）レポートを生成して、トラックイベントに関与していないセグメントと比較することで、この機能がユーザーの感情に与える影響をより深く理解できるようになりました。「この機能に関してNPSの観点から人々がどのように反応しているかのトレンドを把握することが、私たちにとって非常に重要でした」とShuklaは説明しました。 ネットプロモータースコア（NPS） ユーザーフィードバックをアナリティクスと関連付けることで、Shuklaのチームがオートサジェスト機能の成功を測定する方法に、より深いコンテキストの層が加わりました。特定のトラッキングイベントを完了したユーザーのセグメントを作成し、そのユーザーのNet Promoter Score（NPS）レポートを生成して、トラッキングイベントに関与していないセグメントと比較することで、その機能がユーザーの感情に与える影響をより深く理解できるようになりました。「この機能に対して、人々がNPSの観点からどのように反応しているかのトレンドを把握することが、私たちにとって非常に重要でした」とShuklaは説明しました。
最後に、ShuklaはPendoからのデータ抽出の容易さが大きな成果であったと述べました。「最大のメリットは、実際に作業を行っている人々の前に生データを提示できることです」と彼は言いました。「現在市場でホットなクエリに対してデータを取得しフィルタリングするのに、多大な労力や急な学習曲線は必要ありません——特に、ユーザーが何を検索しているかを把握することに関しては。」
Pendoが初日からあなたの組織に価値をもたらす方法をご覧ください
