QuorumがAIスティッキネス63.5%を達成した方法

AIがコアなプロダクト体験になると、成功の測定はより難しくなる

Quorumにとって、AIは実験ではありません。パブリックアフェアーズソフトウェアの未来を形作る戦略的な投資です。

唯一のAI搭載統合パブリックアフェアーズプラットフォームとして、Quorumは非営利団体、協会、企業、アドボカシー組織が法案を追跡し、ステークホルダーを管理し、草の根キャンペーンを調整し、データ主導の政策戦略を構築するのを支援します。顧客はこのプラットフォームを活用して、複雑な政策環境を理解し、結果に影響を与え、より迅速に情報に基づいた意思決定を行えるようにします。

数百万件のパブリックアフェアーズデータポイントをナビゲートする顧客を支援するために、Quorumは特許取得済みのAIであるQuincyを発表しました。

Quorumの独自データセットで学習したQuincyは、「この問題に関する各党の見解はどのようなものですか？」や「この大統領令は私のビジネスにどのような意味を持ちますか？」といった自然言語による質問をユーザーが行えるようにします。法案の分析、インサイトの抽出、政策調査のサポート、重要なワークフローの効率化が可能です。

「私たちは単にプラットフォームにAI機能を追加したのではありません。政府渉外業務の進め方そのものを再構築しました」と、QuorumのシニアプロダクトマネージャーであるMelissa Woodは述べました。「私たちのお客様は、このスペースでワークフロー全体にわたって機能するAIアシスタントを最初に手にした方々です。そのAIは、私たちが長年かけて構築してきたデータ——すべての法案、すべての投票、すべてのステークホルダー。これにより、お客様は最も重要な業務、つまり関係構築と戦略立案に時間を取り戻すことができます。」QuincyがカスタマーエクスペリエンスにおいてよりCentralな存在になるにつれ、Woodと彼女のチームは新たな課題に直面しました。それは、ユーザーが実際に価値を得ているかどうかを把握することでした。

断片化されたプロセスがAIの測定を困難にしていた

Pendo Agent Analyticsを導入する前、QuorumはQuincyに関する基本的な質問に答えるためにさまざまなツールに頼っていました。

チームはPendoのトラックイベントを通じてエージェントの入出力を追跡し、データをGoogle Sheetsにエクスポートし、OpenAIを使用してインタラクションを分類し、Looker Studioで結果を可視化し、トレーサビリティにはDatadogを活用しました。

このプロセスは機能していましたが、多大な手作業を必要としました。

「ユーザーが行うさまざまな会話のやり取りをすべて把握しようとするのは、複雑で非常に時間のかかるプロセスでした」とWoodは述べました。

チームにとって最大の課題は、データの不足ではありませんでした。それはコンテキストの不足でした。

Agentの使用データはQuorumの他のプロダクトアナリティクスとは別に管理されており、AIのエンゲージメントが幅広い顧客行動とどのように結びついているかを把握することが困難でした。 

プロダクトマネージャーやデザイナーは自分たちで簡単にインサイトにアクセスできず、新たなテーマや問題は誰かが手動で発見するまで見えないままになることが多くありました。

一方、リーダーシップはますます重要になる質問への回答を求めていました：

• 顧客はQuincyを採用しているか？
• どのような種類の質問をしているか？
• エージェントは高品質な回答を提供していますか？
• AIの活用は製品全体の導入率と継続率にどのような影響を与えていますか？
• AIへの投資は測定可能な価値をもたらしていますか？

これらの質問に答えるには、あまりにも多くの時間と多くのシステムが必要でした。

Agent Analytics をより広範なプロダクト体験に統合する

Quorum は Pendo Agent Analytics を採用し、チームがすでに顧客行動を把握していた同じ環境に AI インサイトをもたらしました。

複数のレポートシステムをつなぎ合わせる代わりに、プロダクトチームはエージェントの会話、使用傾向、リテンションデータ、および新たなテーマを、より広範なプロダクトアナリティクスと並べてすぐに確認できるようになりました。

Woodにとって、最大のメリットの一つはアクセシビリティでした。

「エージェントに新しい機能を追加する場合、すぐにインサイトを得ることができます」と彼女は言いました。「プロンプトを手動で調整する必要はありません。すでにインサイトが表示されています。」

Quincyは7つのコア製品領域にわたってユーザーにサービスを提供しているため、一元的な可視性が特に重要でした。組織全体のプロダクトマネージャーやデザイナーは、専門的なレポートワークフローに頼ることなく、エージェントの動作を独自に調査できるようになりました。

チームが可視化できるようになった内容：

• 製品全体の使用状況に対するエージェントの採用率と定着率
• Quincyとのエンドツーエンドの顧客エンゲージメント
• 新たなユースケースと会話パターン
• 新たな摩擦の原因とユーザーの混乱
• エージェントとのやり取りがプラットフォーム全体の動作に与えた影響

以前は複数のツールを必要としていたことが、単一のワークフローで利用できるようになりました。

ユーザーが実際に必要としていたものを発見する

この追加された可視性により、従来のアナリティクスだけでは特定できなかった機会がQuorumにとって迅速に明らかになりました。

意外な発見の一つは、多くのユーザーが最初はシンプルなヘルプセンターの質問を持ってQuincyを訪れており、それがはるかに多くのことができると気づいていなかったことです。Quincyは立法の経緯を調べたり、ステークホルダーの活動を要約したり、会議の完全なブリーフを準備したりすることができますが、ほとんどの人の最初の直感は、小さな質問をすることでした。

Quorumはその動作を問題と見なすのではなく、それらの質問にも答えられるようエージェントの機能を拡張しました。

チームはまた、一部のユーザーがQuincyがAIによって動作していることをまったく認識していないことも発見しました。また、Quincyが実際にできることの表面をなぞるだけの繰り返しのプロンプトに頼っているユーザーもいました。

これらの調査結果を受けて、Quorumはより充実したオンボーディング、より良いガイダンス、そして複雑なプロンプトの必要性を減らすプロアクティブなAIエクスペリエンスへの投資を決定しました。

「際立っているのは、ほとんどの人が気づいている以上にQuincyができることの多さです」とWoodは述べました。「ユーザーはシンプルな質問を持って来ますが、それは素晴らしい出発点です。今の私の焦点は、Quincyが肩代わりできる他のすべてのことをユーザーに発見してもらうことです。その能力はすでにそこにあるのですから。」

AI投資のインパクトを証明する

現在、QuorumはQuincyを他の重要なプロダクト体験と同様に評価しています。採用状況を測定し、摩擦を特定し、ビジネスへのインパクトを証明することで。

チームは定期的にAIユーザーと非AIユーザーを比較し、リテンションのトレンドを調査し、Quincyとのエンゲージメントがプラットフォーム全体の普及にどのような影響を与えるかを分析しています。

特に注目している分野の一つは、パワーユーザーがどのように新しい方法でテクノロジーを活用しているかを理解することです。

「AIの限界に挑戦しているパワーユーザーが何人かいます」とWoodは説明した。「それは私たちのチームにとって情報の宝庫となっています。」

こうした洞察は、Quorumが新機能の優先順位付け、既存のエクスペリエンスの改善、そしてAIへの将来的な投資の妥当性確認を行う上で役立っています。

結果は有望です。Quincyは週間アクティブユーザー対月間アクティブユーザー（WAU/MAU）の定着率63.5%を達成し、アシスタントを利用する顧客の間で強い継続的エンゲージメントを示しています。

Quorumにとって、信頼性の高い自動レポートはAIのスケーリングを成功させるための不可欠な要素となっています。

「自動化された有益なレポーティングは、製品投資に対するリーダーシップの信頼を築く上で重要です」とWood氏は述べました。

次世代のパブリックアフェアーズAIの構築

QuorumがAI戦略の拡大を続ける中、QuincyはAI会話アシスタントを超え、エージェント体験の広範なエコシステムへと進化しています。

同社はAIエージェントのラインナップを拡充し続けており、現在では会議の準備からメモの取得、カレンダーと連携したワークフローまで、政府渉外担当者の日常業務の中核部分を処理しています。さらなるエージェントもすでに開発中です。

Woodにとって、Quincyから得られた教訓はQuorumのAI機能にとどまりません。ユーザー行動を理解するには、インタラクション全体とそのコンテキストへの可視性が必要です。AIをスケールさせるには、パターンやインサイトを自動的に浮かび上がらせる専用ツールが必要です。そして、チームがレポート作業ではなくイノベーションに集中できるほど、顧客への価値提供が速くなります。

「私たちが構築するすべてのエージェントは、顧客の日常における疑問から始まります」とWoodは述べました。「顧客が手動で行っていることで、エージェントが代わりに行うべきことは何か？その答えが私たちのロードマップとなり、顧客の時間は自分にしかできない仕事へと戻っていきます。」

Pendo Agent Analyticsにより、Quorumは導入状況を把握し、機会を発見し、次世代のAI搭載エクスペリエンスを自信を持ってスケールするために必要な可視性を手に入れました。