会話型AIエージェントは稼働しています。しかし、「実際にユーザーの役に立っているのか？」という疑問が生じます。私たちはPendo Agent Analyticsを構築し、リアルタイムで信頼性の高いデータを使って、エージェントが提供する価値を明確に把握できるようにしました—お客様自身のためにも、私たち自身のためにも。
Agent Analyticsを使用すると、以下を確認できます：
- ユーザーがエージェントに何を尋ねているか（最も一般的なユースケース別に分類）
- エージェントとのやり取りの前後にユーザーが何をしているか
- どの会話がビジネス成果を生み出し、またはフリクションを引き起こしているか
新しいPendo製品や機能を構築するたびに、私たちは自ら積極的にテストしています。そして、Listen ExploreやAgent Modeなど、Pendoにさらに多くのAIエージェントを導入するにあたり、Agent Analyticsは私たちのプロダクトリーダーの間で急速に人気を集めています。
エージェントの影響に関するすべての疑問に答えます
PendoのリードプロダクトマネージャーであるAlejandro Daoは、Agent Analyticsを活用して、チームが新しいAIガイド作成機能（Autumn Releaseの新機能）をどのように使用しているかについて、即座にインサイトを得ています。この機能を使うと、平易な言葉で書いたプロンプトから、洗練されたブランドに沿ったアプリ内ガイドを数秒で作成できます。（AIガイド機能の詳細はこちら。）
ビルドプロセスを通じて、Daoは社内チームやデザインパートナーが使用する中で、Agent Analyticsを継続的に活用してインサイトを収集しました。彼が学んだことをご紹介します。
Agent Analyticsはエージェントから会話要素を抽出してレポートとして提供できるため、Daoはこれらのレポートを活用して、誰がその機能を使用しているか、誰が最も頻繁に使用しているか、そして最も重要な点として——どのようなユースケースがあるかを把握しました。
ユーザーがガイドエージェントに依頼する最も一般的な内容を継続的にモニタリングする中で、Daoは当初計画されていなかった望ましいユースケースを発見しました——ガイドにビデオを追加する機能です。エージェントにはまだこの機能はありませんが、データに裏付けられたインサイトにより、チームは自信を持って将来のロードマップ決定においてこれを優先事項とすることができました。それまでの間、チームはユーザーがフラストレーションを感じて作業を断念しないよう、この機能で現時点で何ができて何ができないかをより明確に伝えるようになりました。
エージェントインサイトによる未報告のユーザーフラストレーションの特定
DaoはAgent AnalyticsとSession Replayを組み合わせることで、AIガイド作成に関するもう一つの重要な発見をしました。
後者を使用してAI主導のガイド作成プロセスで発生しているデッドクリックの視覚的なコンテキストを把握したところ、Daoはユーザーがインラインテキストを編集しようと繰り返し試みていることを確認しました。Daoはこれが問題になり得ると予想していましたが、製品ロードマップでは優先事項ではなく、デザインパートナーからも問題として報告されていませんでした。このユースケースを直接何度も目にしたことで、Daoはそれをより緊急のエンジニアリング優先事項とするために必要な確信と根拠を得ることができました。
Agent Analyticsのデータがなければ、Pendoの製品チームは散発的な任意のユーザーフィードバックと推測に頼ることになっていたでしょう。その代わりに、Daoのようなチームは数秒で詳細なインサイトを得ることができます。追加のレポート作成も、ユーザーの声を理解するための無数のカスタマーコールのスケジュール調整も不要です。Daoの言葉を借りれば、「Agent Analyticsは優れたプロダクトの基本を置き換えるものではありません。しかし、自分自身のスキルのアクセラレーターまたは増幅器として機能します。」
エージェントは語っています。あなたは聞いていますか？
AIイニシアチブにおいて今重要なステップは、有効性を測定することです。エージェントの中には、ユーザーの意図データ、フラストレーション、リスクが豊富に眠っています。より良いユーザーアウトカムに向けて最適化する準備はできていますか？
Agent Analyticsのツアーを体験して、何が可能かをご覧ください。
