これは、テクノロジーリーダーたちが夜も眠れないほど悩んでいる問題です。AIツールに数百万ドルを投じた後、プロダクトチームとITチームは頭を抱え、これらの投資がビジネスにもたらした影響を把握しようと苦心しています。 

この問題は新しいものではありません。ソフトウェアの開発者や購入者は、ユーザーがアプリ内で何をしているか、どのように感じているか、そしてその取り組みが成果につながっているかを長年にわたって理解しようとしてきました。今、生成AIとエージェントが、チームがソフトウェアの成功を測定する方法を変えつつあります。クリック数、離脱、ページ滞在時間の計測よりも、どのような成果をこれらのエージェントが推進できます。 

エージェントのパフォーマンスを把握する唯一の方法は、使用状況データとユーザーのその後の行動を結びつけることです。以下は、AIエージェントデータに対して問うべき6つの質問と、それぞれの意味です。 

1. ユーザーはなぜ私のAIエージェントを利用しているのか？

エージェントのエンゲージメントの背景にある「理由」を理解することで、成功を再現し、失敗のポイントを修正できます。ユーザーが従来のSaaS製品に不満を感じているときにのみエージェントを利用するのであれば、それはAIの成果ではなくUXの問題です。しかし、速さを理由にユーザーが人間のサポートよりもエージェントを選んでいるなら、それは良い兆候です。

インテントを把握するために、主要なユースケース、会話量、ユーザーコンテキストを分析します。エージェントとの会話前にユーザーが何をしていたか、どのような代替パスが利用可能だったか、ユーザーセグメントやユースケースによってエンゲージメントパターンがどのように異なるかを追跡します。

以下を特定できるようになります： 

  • ユーザーが最初からエージェントを選ぶのか、それとも最終手段としてエージェントに頼るのか
  • パワーユーザーと新規ユーザーでエンゲージメントパターンがどのように異なるか
  • どのユースケースが最もエンゲージメントの高いユーザーおよび低いユーザーと結びついているか

2. ユーザーは意図した目標を達成できているか？ 

AIエージェントは会話量を報告しますが、ユーザーが目標を達成したかどうかは報告しません。この問いに答えるには、ユーザーがアプリ全体でAIエージェントを利用した後に何をするかについての洞察が必要です。

これを把握するには、インタラクション前からエージェントへのプロンプト、ビジネス上の成果に至るまで、全体のジャーニーを追跡します。そもそもユーザーがサポートエージェントを利用するきっかけは何だったのか？会話が正常に終了するケースと、ユーザーが不満を感じて途中で離脱するケースを確認します。そして、その後の行動も必ず測定してください。購入を完了しているか、オンボーディングを終えているか、あるいは製品に戻りますか？ 

エージェントのダウンストリームへの影響を把握することで、次の質問にも答えられるようになります： 

  • どのユースケースが成功につながり、どれがデッドエンド、追加サポートチケット、怒りのプロンプト、否定的なフィードバックなどの悪い結果につながるか
  • タスクの完了率がユーザーセグメント、ユースケース、またはリクエストの複雑さによってどのように異なるか
  • エージェントとのインタラクションが、リテンション、エンゲージメント、スティッキネス、および採用に対してプラスまたはマイナスの影響を与えるか

3. どのタイプのエージェントインタラクションがビジネス成果を生み出すか？ 

AIロードマップへの投資を効果的に行うには、エージェントが収益の増加、コストの削減、リスクの低減にどのように貢献しているかを把握する必要があります。つまり、主要なユースケースとその下流への影響を可視化し、うまくいっていることをさらに推進し、うまくいっていないことを改善できるようにする必要があります。 

この質問に答えるには、ユースケース別に会話を分析します。どのタイプの会話がコンバージョン、機能の採用、ユーザーの拡大、またはチャーンと相関しているかを追跡します。どの会話が最も高いリテンションと関連ARRを持っていますか？どの会話が高いチャーンや低いNPSスコアと関連していますか？ 

AIアナリティクスに質問することで、以下を把握できます： 

  • どのユースケースがコンバージョンや継続率の向上につながっているか
  • エージェントとのやり取りが顧客のライフタイムバリュー（LTV）にどう影響するか 
  • エージェントが意図せず高価値な人間同士のやり取りを損なっていないか
  • どのユーザーセグメントがエージェントのサポートから最も高いビジネス価値を得ているか

4. エージェントはユーザーの行動を変えているか？ 

短期的には、エージェントは質問に答えます。長期的には、エージェントはワークフローを再形成します——ユーザーが製品をどのようにナビゲートし、ニーズを満たし、業務を遂行するかを変えていきます。 

エージェントを使用する従業員や顧客は、機能をより迅速に発見したり、オンボーディングの手間が減ったり、新しい予期しないパスをたどったりすることがあります。これらのパターンを把握することで、エージェントの設計と製品全体のエクスペリエンスを最適化できます。  

これを理解するために、エージェント導入前後のユーザージャーニーパターンを比較してください。エージェントとのインタラクションが機能の発見、価値実現までの時間、および製品の導入経路にどのような影響を与えるかを追跡します。エージェントによるサポートから生まれる新しいユーザー行動を特定してください。

この問いに答えることで、以下を理解できるようになります： 

  • エージェントがナビゲーションを誘導する際に、どのような新しいユーザーパスが生まれるか
  • エージェント支援を受けたユーザーが、エンゲージメントや継続利用のパターンにおいてどのように異なるか
  • エージェントがNPSやCSATを通じてユーザー全体の満足度を向上させているかどうか

5. 次に何に投資すべきか？

ほとんどのチームは、ユーザーが実際に何を必要とし、何を使っているかというデータではなく、直感に基づいてエージェント機能を構築しています。 

実際の行動データに基づいたAIロードマップは、R&D費用の無駄とロードマップリスクを削減するのに役立ちます。そのためには、どの機能が機能しており、どの機能が機能していないかを把握し、スタックの各要素を適切に優先順位付け、改善、または廃止できるようにする必要があります。

これを判断するには、サポートされていないリクエストパターンを分析して、需要が高い未実装の機能を特定します。既存の機能のうち最も成功した成果をもたらしているものを追跡し、競合他社より先に新たなユーザーニーズを把握します。

最終的に答えられるようになる質問：

  • どの未実装機能がユーザーの摩擦を最も解消できるか
  • 既存のエージェント機能の中でビジネスへの影響が最も大きいもの
  • ユーザーの行動パターンから生まれつつある新たなユースケース
  • ROIを最大化するために改善努力を集中すべき領域

6. エンドユーザーはエージェントとどのようなデータを共有しているのか？ 

ユーザーがエージェントとチャットしていることは確認できますが、コンプライアンス上の問題を引き起こす可能性のある情報（顧客データ、社内プロセス、競合他社の情報、個人情報など）を共有しているかどうかはわかりません。 

ユーザーが非常に機密性の高い情報を共有している場合、将来の規制やコンプライアンス上の問題を防ぐための適切な保護措置が必要です。新しいAIエージェントを従業員に展開する場合は、以下を追跡する必要があります： 

  • ユーザーが個人識別情報（PII）、財務データ、またはその他の規制対象情報を共有しているかどうか
  • データ共有の行動がユーザーの役割や部門によってどのように異なるか
  • どの種類の会話がユーザーに機密情報を共有させるきっかけとなるか
  • 複雑な質問に対してコンテキストを提供するのに十分なほど、ユーザーがエージェントを信頼しているかどうか

ユーザーが自発的に共有する情報と保護する情報を追跡し、さまざまなユーザーロール、部門、またはユースケースにわたるデータ共有のパターンを特定します。

ソフトウェアとAIのデータが一か所に集まることで、AIへの投資が生み出す全体的な効果を把握できます。Pendo Agent Analyticsは、まさにそれを実現するために構築された、唯一無二のソリューションです。this. Agent Analytics の詳細についてはデモをご覧ください。