チームはAIエージェントを構築し、ユーザーの前に公開して、最初のリクエストが届くのを見届けました。次に必要なのは、そのエージェントがユーザーの業務に定着しているかどうかを把握することです。

誰が発見するのか？一度試して、次のタスクが来たときに再び使うのは誰か？ユーザーはどこでつまずくのか？そして、エージェントが誰かのタスク完了を助けたとき、その改善は提供コストに見合うものなのか？

これらの問いは、AIエージェントの導入を測定するための実践的なフレームワークを提供します。発見から業務の成功完了までの道のりをたどり、そこから得た知見をエクスペリエンスの改善に活かし、改めてリターンを測定しましょう。

プロダクトチームが理解すべきこと ユーザーが何を尋ね、どこでやり取りが行き詰まり、その後何が起きるか。Pendoを活用することで、チームはエージェントとのインタラクションをより広いプロダクト体験と結びつけ、ユーザーがサポートを必要としている箇所を特定できます。

エージェントがユーザーを支援すべき業務を定義する

対象ユーザーが認識している業務から始めましょう。たとえばレポートアシスタントは、管理者が週次レポートを作成・共有するのを支援するかもしれません。業務の名称、対象ユーザー、成功とみなされる結果を明確にしてください。

このアシスタントにとっての成功とは、たとえば開始から24時間以内に正確なレポートが保存・共有されることかもしれません。それにより、会話とプロダクト全体を通じて追跡すべき成果が明確になります。

ユーザー、タスク、会話は別々に管理してください。1人のユーザーが複数のタスクを完了する場合もあり、1つのタスクが複数の会話にまたがる場合もあります。完了タスクを計測する場合は、一貫したタスク識別子を使用して、繰り返しの試行によってカウントが水増しされないようにしてください。

業務の頻度も重要です。週次レポートは、ユーザーが毎週戻ってくる理由になります。継続的な利用は、ユーザーがエージェントを必要とする頻度という文脈で解釈してください。

バックグラウンドまたはプロアクティブなエージェントの場合は、支援のトリガーとなるイベントから始めてください。エージェントがサポートを提案したか、ユーザーがそれを受け入れたか、そして業務が完了したかを追跡してください。

発見、初回使用、繰り返し使用を追跡する

まず3つの質問から始めましょう： ユーザーはエージェントを見つけられるか、試してみるか、そして戻ってくるか？ これらの指標は、エージェントがユーザーの業務にどのように定着するかを示すことで、 AIエージェントのパフォーマンスを測定するための10の重要なKPI を補完します。

発見：ユーザーは必要な場所でエージェントを見つけられますか？ 使用する Pendo Product Analytics ことで、関連する作業がどこから始まるかを把握できます。レポートアシスタントの場合、それはレポートページかもしれません。対象ユーザーのうち何人がエントリーポイントを表示されたかを追跡し、ターゲットを絞ったガイダンスを使ってより多くのユーザーが見つけられるようにしましょう。招待が表示されても、ユーザーが気づいているとは限りません。

初回使用：ユーザーは最初のリクエストを行いますか？ エージェントのエントリーポイントから最初のリクエストまでのファネルを、そのエージェントを使ったことがないユーザーのセグメントを使って構築しましょう。これらのイベントが確実にキャプチャされるようにしてください。ユーザーが離脱する場合は、より明確な招待や推奨の開始タスクをテストしてみましょう。

継続使用：ユーザーは戻ってきますか？ Agent Analyticsの組み込みリテンション指標は、選択した期間中にプロンプトを送信したすべての訪問者のうち、選択した日付範囲内で少なくとも2つの異なる週にプロンプトを送信した訪問者の割合を測定します。ユーザーが戻る十分な機会が得られるレポート期間を選択してください。

平均値の背景にあるユースケースとアカウントを確認しましょう。 Pendo Agent Analytics は、ユーザーが求めていることや直面している問題を探るのに役立ちます。その結果を活用して、ユーザーが戻ってくる理由や離れてしまう原因を調査しましょう。

完了した作業と離脱箇所を測定する

エージェントを使い始めたユーザーが、目的のタスクを達成できているかどうかを確認しましょう。

仮に、ある月にユーザーが600件のレポート作成タスクを開始し、420件の正確なレポートを24時間以内に保存・共有して完了したとします。タスク完了率は70%です。失敗または途中停止した試みも含めてすべてのタスク開始数をカウントし、レポートする前に各タスクの完了ウィンドウが終了するまで待ちましょう。

Pendoの カスタム成功指標 を使用すると、成功した会話を定義できます。イベント指標は、会話が指定されたプロダクトアクションにつながるかどうかを追跡します。ハイブリッド指標は、会話の成功ルールとそれらのアクションを組み合わせます。複数の会話にわたるタスク完了率が必要な場合は、タスクを個別に追跡して重複を排除してください。

定義に品質を組み込んでください。誤ったデータが含まれた共有レポートは、依然として対応が必要です。完了した作業のサンプルを確認し、ユーザーがその確認や修正に費やす時間も考慮してください。

未完了のタスクを調査して、ユーザーが問題に遭遇したのか、人によるサポートが必要だったのか、あるいは追跡できない場所でタスクを完了したのかを把握してください。タスクを放棄とみなす条件を定義し、人への転送は別途追跡してください。会話が途切れたからといって、ユーザーが諦めたとは限りません。

エージェントの問題とプロダクトパスを活用して、作業が停止した箇所を把握してください。サポート対象外のリクエストと、次のステップがわかりにくい場合を区別し、不明な結果を可視化することで、データの欠落が成功率を過大評価しないようにしてください。

Pendoを使用して導入のボトルネックに対処する

学んだことを活かして、次の改善策を選択してください。

エージェントを試したユーザーが成功しているにもかかわらず、発見されにくい場合は、より多くの人がエージェントを見つけられるよう工夫しましょう。エージェントを目にしても最初のリクエストをほとんど送らない場合は、エージェントでできることを説明しましょう。試した後に離脱してしまう場合は、最初のタスク体験と、エージェントがユーザーが繰り返し必要とする作業をサポートしているかどうかを検討しましょう。

Pendo for Agents は、Agent AnalyticsとAgent Toolkitを統合します。Agent Analyticsは、使用状況、問題、および成果の把握に役立ちます。オープンベータで提供中のAgent Toolkitは、エージェントに製品とユーザーのコンテキストを提供し、より適切なサポートを実現します。

レポートアシスタントの場合、ユーザーがレポートの保存に困っているときに、これまでの操作履歴をもとに関連するPendoガイドを表示することが考えられます。エージェントに必要な機能を設定し、ユーザーがタスクを完了する頻度が上がるかどうかを測定しましょう。Agent ToolkitとAgent Analyticsはそれぞれ個別にセットアップが必要です。

チームは既存のAIツールを活用して導入状況を調査することもできます。 Headless Pendoを使えば、PMはClaudeでエージェントのユースケースや問題点を直接質問し、製品の使用状況やフィードバックを調査に活用できます。

そこから、影響を受けるオーディエンスを保存し、レポートワークフロー向けのアプリ内ガイドを作成します。担当者がガイドを確認して有効化します。その後、より多くのユーザーが成功しているか、また変更が効果的だったかどうかを確認しましょう。

エージェントの有用な作業は、会話、連携ツール、製品インターフェースにまたがることがあります。導入状況を評価する際はこれらのエクスペリエンスも含め、作業を結果まで追跡できるようにしましょう。

比較条件を公平にする

同様の作業を行う類似ユーザーを、同等の期間・同じ成功基準・品質基準で比較してください。ユーザーが作業を完了するのに十分な時間を確保し、結果に影響しうる他の変化も考慮に入れましょう。エージェントユーザーの完了率が高い場合は関連性を示しますが、ランダム化されたロールアウトや慎重に設計された対照比較を行うことで、エージェントの貢献を切り分けやすくなります。アクセス権を付与されたが一度も使用しなかったユーザーも対象に含めてください。

Agent Analytics の実験機能 を使うと、チームは構成、モデル、ツール、その他のグループを比較できます。変更に何を帰属させられるかは、参加者の割り当て方法と比較する条件によって異なります。

成功した導入をROIに結びつけ、さらに改善する

社内レポートアシスタントの場合、節約された時間が価値を見積もる一つの方法です。レビューや手直しを含め、エージェントありとなしで必要な全作業量を比較してください。

仮に、ある月の仮定シナリオで完了した420件のタスクがそれぞれエージェントなしの場合と比べて5分の節約になるとすると、合計35時間になります。完全負荷労務コストを時給60ドルと仮定すると、節約された時間の推定価値は2,100ドルになります。

そのエージェントの月間総割当コストが1,400ドルの場合、純推定価値は700ドルです。700ドルを1,400ドルで割ると、 モデル化されたROIは50%.

コストには、導入費用、モデルおよびインフラ費用、保守費用、評価費用、人的監視費用を含めてください。この例では、完了率と品質が同等であり、未完了タスクに追加の工数は発生しないことを前提としています。これらの条件が変わる場合は、その差異を考慮してください。

節約された時間はキャパシティを生み出し、支出が変化したときにコスト削減へとつながります。顧客向けエージェントの場合は、財務的な価値を割り当てる前に、顧客アウトカムの改善がビジネスにどのようなメリットをもたらすかを明確にしてください。実際の運用コストを使用し、同じ作業を二重にカウントしないようにしてください。プロダクトビルダーがAIのROIを証明する方法に関するガイドでは、 プロダクトビルダーがAIのROIを証明する方法 そのビジネスケースをさらに詳しく解説しています。

変更を加えるたびに、より多くのユーザーがタスクを完了しているか、品質が維持されているか、そしてそのメリットがコストに見合うかどうかを確認してください。同じ基準と全コストを用いて比較を繰り返してください。

1つのエージェントと1つの改善から始める

エージェントが効率化すべき業務を選択してください。利用できるユーザー、発見方法、成功した作業の基準、そして再利用する理由が生まれるタイミングを定義しましょう。

導入が停滞している箇所を特定し、Pendoを活用してそのエクスペリエンスを理解・改善し、全体的なコストに対する成果を測定しましょう。成功したユースケースの拡大、課題のあるユースケースの改善、またはエージェントが最も価値を生み出す領域への投資集中について、より明確な根拠が得られます。

Pendo for Agentsを探索する エージェントの導入状況、プロダクトのコンテキスト、そして次のアクションを判断するための成果をつなげましょう。