一方で、 92% の組織が2025年にAI投資を増加させている中、 4分の3以上 の企業が、エージェントがパイロット段階を超えられていないと報告しています。
経営幹部は今、自分自身(およびチーム)に2つの問いを投げかけています:
- 立ち上げたエージェントをどのようにスケールさせるか?
- ユーザーとビジネスに真の価値をもたらしていることをどう証明するか?
社内 および 社外のエージェントについて、ユーザーがこれらのツールをどのように使っているか、またエージェントが意図した通りに使われているかを把握することに、チームは苦労しています。
そこで私たちは Pendo Agent Analytics (Pendoのすべてのお客様が無料で始められます)を構築しました。これらの問いに答え、自信を持ってエージェントをスケールするために必要なツールを提供します。
多くのお客様との対話や、Pendoでのエージェント立ち上げの経験を通じて、私たちは 実験 から エンタープライズ対応のデプロイメントへと移行するために必要な3つの重要なインサイトフェーズを特定しました: エージェントの使われ方の把握、摩擦点と障害点の特定、そしてユーザージャーニー全体での価値の証明です。
Agent Analyticsは、各フェーズを通じてチームをガイドするために構築されています。
フェーズ1: エージェントの使われ方を理解する
誰が、どのくらいの頻度で使っているか?
高いインパクトを持つエージェントへの第一歩は可視性です。Agent Analyticsでわかること:
- 誰がどのくらいの頻度でエージェントを使っているかを正確に把握
- エージェントとやり取りしているユニーク訪問者数とアカウント数
- 生成された会話数とプロンプト数
- エージェントに戻ってくる頻度 および 製品全体の利用状況
これらのデータはすべて、役割タイプ、ユーザーセグメント、または期間でフィルタリングでき、さまざまなペルソナやチームにわたる明確なビューを得ることができます。
エージェントは何に使われているのか?
採用データは、使用状況を理解するための出発点に過ぎません。チームはまた、エージェントが実際にどのような課題を解決するために使われているかを把握したいと考えています。
Agent Analyticsは、会話データを分析してテーマ別に分類することで、新たなユースケースを自動的に浮かび上がらせます。すぐに使える状態で、どのタイプのユースケースがトレンドになっているか、どれが最もエンゲージメントやリテンションを促進しているか、そしてユーザーが最も価値を見出している場所を即座に確認できます。
エージェントは意図した通りに使われていますか?
エージェントが経費管理やオンボーディングサポートなど特定のタスク向けに構築またはトレーニングされている場合、Agent Analytics を使用することで、ユーザーが実際にその意図した目的でエージェントを使用しているかどうかを確認できます。
主要なユースケースを時系列で追跡し、アクセス頻度を確認し、パフォーマンスや不満のトレンドを監視できます。さらに詳しいコンテキストが必要な場合は、直接 セッションリプレイ をクリックして、ユーザーのフルジャーニーを確認できます。エージェントとのやり取り、つまずいた箇所、その後の行動などを把握できます。
「よく使われるカテゴリーを確認できるのは非常に便利ですが、特に重要なのは、具体的な例や特定のセッションのリプレイまで掘り下げられる点です。このツールにより、AI 機能の改善と反復がはるかに容易になります。」
—エンタープライズ パワーユーザー
続きを読む Pendo 自身のプロダクトチームが Agent Analytics とセッションリプレイを活用して、満たされていないユーザーニーズを発見し、社内エージェントのロードマップを改善した方法をご覧ください。
フェーズ 2:パフォーマンスの問題を特定する
どれほど優れたエージェントでも、時にはつまずくことがあります。あるいは、ユーザーがエージェントを開いても、うまく活用できずに苦労することもあります。課題は、そのような瞬間を早期に察知して迅速に対処し、ユーザーが永遠に諦めてしまわないようにすることです。
そのため、Agent Analytics のコアに問題検出とフラストレーションシグナルを組み込みました。まず、Pendo が提唱する レイジプロンプトを通じて、ユーザーがエージェントに対して怒りを表明している瞬間を特定します。繰り返しの言い換え、全大文字のメッセージ、不適切な言葉、その他の不満のサインがこれに該当します。これらのフラストレーションシグナルはエージェント および ユースケースレベルで収集され、サポートチケットに表れるよりずっと前に問題を簡単に特定できます。
また、エージェントが効果的に回答できていない箇所や、そのような失敗が特定のトピック、セグメント、またはワークフローに集中しているかどうかも確認できます。パターンが見つかった場合は、問題にフラグを立て、Jira チケットに直接リンクすることで、曖昧なフラストレーションを修正可能なエンジニアリングタスクへと変換できます。
フェーズ3:AIへの投資が成果をもたらすことを証明する
可視性と問題検出は不可欠です。しかし、特にR&D予算を投じているリーダーシップは、最終的にはより厳しい問いを投げかけるでしょう:このエージェントは測定可能なビジネス成果をもたらしているのか?
Pendoを使えば、エージェントのインタラクションをビジネス成果に結びつけることがついに可能になります。Agent AnalyticsはPendoの従来のプロダクトアナリティクスと統合されているため、エージェントとのエンゲージメントの前・中・後におけるユーザー行動のハイブリッドビューを得ることができます。
エージェントとのインタラクションの前後でユーザーが何をするかを把握する
Pathsを使用することで、ユーザーがエージェントに頼る直前に何をしていたか、そしてその後に何をしたかを理解できます。エージェントはユーザーがタスクを完了するのを助けたのか、それともサポートを求めることを回避させたのか?ユーザーはワークフローを前進させたのか、それともアプリを完全に離脱したのか?AIと従来のプロダクトインサイトを一元管理するツールがなければ、これらの問いに答えることは非常に時間がかかり、手作業になってしまいます。
アプリの「従来の」使い方と「エージェント型」の使い方を比較する
エージェントが特定のワークフローを効率化または代替するように設計されている場合、Agent Analytics はその変化を直接検証する手段を提供します。旅行の予約やフォームの入力といったタスクを、従来のクリックベースの操作で完了した場合と、エージェントの支援を受けて完了した場合を比較することができます。
単一のダッシュボード(SQL やツールの組み合わせは不要)で、エージェント支援による成果がより効率的かどうか、コンバージョン率が向上しているかどうか、そしてエクスペリエンス間で行動がどのように異なるかを確認できます。AI を活用したワークフローが以前のものより本当に優れているかどうかを把握するための、これまでで最も明確なビューです。
ハイブリッドエージェントダッシュボードの実際の見た目は、こちらのAgent Analytics 製品ツアーでご確認ください。
実際のユースケース:営業チームの Agentforce 成果をモニタリングする
営業などのチームが迅速に動けるよう社内エージェントを導入している企業にとって、利用状況と影響の可視化は重要です。Agent Analytics と Pendo を Salesforce インスタンスにインストールすることで、まさにそれが実現できます。
担当者が Agentforce エージェントを使って、商談レコードの更新、資料の検索、商談前の準備といったタスクをこなしているとします。Salesforce 内の製品利用データを取得する従来のPendo Analytics と、エージェントのインタラクションデータを取得する Agent Analytics を組み合わせることで、エージェントがどのタスクを支援しているか、完了時間を短縮しているか、地域や役割によって導入状況がどのように異なるかを正確に把握できます。
社内 AI ツールがどのように活用されているか、そして本当に生産性の向上やコスト削減につながっているかを、全体像として把握できます。
AI パイロットフェーズを超えてビジネスを前進させる
Agent Analytics は現在無料でご利用いただけます。今すぐ始めましょう。エージェントを立ち上げたものの、何が機能しているかを推測したり、Dev ツールのログトレースを何時間もかけて調べたりしているなら、PM ファーストのソリューションを導入する時です。77% の企業がスケールに苦労している状況に甘んじないでください。
当社自身の AI PM であり Agent Analytics のパワーユーザーである Niamh Jones はこう述べています。「Agent Analytics は、技術的な知識がない人でもエージェント内で何が起きているかを本当に理解しやすいツールです。エージェントが良い仕事をしているか悪い仕事をしているかが、すぐにわかります。」
👉 すでにお客様ですか?Agent Analytics を無料で始めましょう。または、今すぐデモをリクエストしてください。