エージェントの構築はかつてないほど簡単になりました。空いた午後とバイブコーディングツールさえあれば、誰でも作れます。(批判しているわけではありません。私たちも金曜日にもっと奇妙なものをリリースしたことがあります。)しかし、そのエージェントを本当に使う価値のあるものにすることは、依然として簡単ではありません。
Gartnerはそのギャップのコストを試算している。2027年だけでAIエージェントソフトウェアへの支出は3,763億ドルに上り、そのプロジェクトの40%以上が それらのプロジェクトの40% おそらくキャンセルされる — なぜなら誰も エージェントが稼働していたことを証明する.
それこそが、私たちが18か月前にAgent Analyticsを構築した際に解決しようとした問題です。私たちの目標は、「このエージェントは実際にユーザーの役に立っているのか?」という一つの問いにお客様が答えられるよう支援することでした。4,700万件以上のエージェント会話を経て、私たちは同じことを繰り返し耳にしました。エージェントは評価チェックに合格しているが、ユーザーが何を達成しようとしているかを把握していなければ、実際には役に立っていない、というものです。それこそが、 Agent Analytics。私たちの目標は、「このエージェントは実際にユーザーの役に立っているのか?」という一つの問いにお客様が答えられるよう支援することでした。4,700万件以上のエージェント会話を経て、私たちは同じことを繰り返し耳にしました。エージェントは評価チェックに合格しているが、ユーザーが何を達成しようとしているかを把握していなければ、実際には役に立っていない、というものです。それこそが、 Pendo Agent Toolkit が解決するために構築された問題であり、私たちが本日両者を Pendo for Agents として統合する理由です。
第1章:Agent Analyticsと、500社から学んだこと
最初の企業がPendo内でエージェントのタグ付けを始めたとき、そのすべてにAIプロダクトマネージャーがいて、稼働率とはまったく関係のない問いを立てていました。エージェントは実際に、それを使う人々の役に立っているのか?
エンジニアリングチームが導入した開発者向けオブザーバビリティツールから、セッション数とトークン消費量は得られていました。しかしそのどれも、エージェントのパイロットがベータ移行の準備ができているかどうか、ましてやエージェントが収益を生む製品になり得るかどうかを、PMに教えてはくれませんでした。
そこで私たちは、開発者ファーストのオブザーバビリティツールでは答えられない問いに応えるために、Agent Analyticsを構築しました: ユーザーは私のエージェントから価値を得ているのか? そして約500社のエージェントの構築・展開・スケールを支援する中で、同じ4つの教訓を何度も繰り返し目にしてきました。
1. 次のステージへの移行を決めるのはリテンションであり、稼働時間ではありません。 エージェントはログがクリーンで、すべての評価チェックに合格していても、スケールアップの準備ができていないことがあります。 Ticketmaster が限定パイロットからエージェントを卒業させる準備ができているかどうかを判断した際、確信をもたらした数値はリテンションと レイジプロンプト であり、エンジニアリングからの健全性証明書ではありませんでした。
2. 最も重要なシグナルは、多くの場合報告されません。 「低評価」を送るのは、わざわざフィードバックする時間を取った人だけであり、それは実際に不満を感じている人のほんの一部にすぎません。
残りはアプリ内の行動(連打や離脱など)として現れます。これらは一切捉えられません。なぜなら、それらのツールがキャプチャするのはユーザーが入力した内容であり、その後に何が起きたかではないからです。
3. PMは自らサクセスを定義すべきであり、システムが見つけるのを待つだけではいけません。 サクセスは必ずしも購入完了のような形をしているわけではありません。ユーザーがエージェントとの会話の中で、求めていた具体的な回答を得られたことがサクセスを意味する場合もあります。そのため、Custom Success Metricsを構築し、独自のユースケースや課題を作成できる機能を提供しています。エージェントはそれぞれ異なる問題を解決しており、自分にとって重要なことを計測できるべきだからです。
4. Agent Analytics は、コードに近い場所に置くほど役立ちます。 一部のチームはすでに Agent Analytics 用 MCP コネクター を使って自動化ループを構築しています。Agent Analytics が問題を検出し、データがエンジニアリング環境に流れ込み、ツールを切り替えることなく修正範囲が確定されます。これは、私たち自身のチームが Leo で実行しているのと同じループであり、 リターンビジターが61%増加し、問題発生率が67%低下しました 過去60日間で。
Agent Analyticsが次に示したもの
そうした学びを経てもなお、私たちは別の問題を発見しました。それが、 ゾンビエージェントです。これらのエージェントは技術的には機能しており、プロンプトに回答し、あらゆる評価チェックをパスします。しかし、実際に誰と話しているのかをまったく把握していません。この名称はそのまま定着しました。
お気に入りのアプリでエージェントを開いたとき、あなたのことを把握していることを期待するはずです。たった今試みて失敗したことや、なぜエージェントに助けを求めているのかを、誰も一から説明したくはありません。そこで私たちは、エージェントにまさにそれを与えるものを構築しました。それが、Pendo for Agentsのもう一方の柱であるAgent Toolkitです。
第2章:Agent Toolkit登場——チャットボットを 真のアドボケート
Agent Toolkit は、Pendoがすでに収集しているプロダクトおよびユーザーのコンテキストを、あらゆるエージェントにリアルタイムで提供します:
- セッションコンテキスト: 製品内でユーザーが行った操作をリアルタイムで記録したもので、エージェントはその履歴をあらかじめ把握しています。
- フラストレーショントリガー: レイジクリック、デッドクリック、Uターン、エラーをエージェントに直接送信し、ユーザーがチケットを開く前に介入できるようにします。
- ワークフローナッジ: 特定のプロセスの途中で離脱した場合に、ユーザーが中断した正確な箇所を通知します。
- ガイドサーフェシング: エージェントが最初から説明したり長いヘルプ記事に誘導したりする代わりに、ユーザーが詰まっている問題を解決する正確なウォークスルー、ヒント、またはチュートリアルを提示します。
これがゾンビエージェントの本当の解決策です。より優れたモデルでも、長いシステムプロンプトでもありません。コンテキストです。あなたのエージェントがサードパーティツール(例: Fin、Sierra、Zendesk、Decagonなど)であっても、チームが独自に構築したものであっても、効果を発揮します。
Teachable はこれを直接体験しました。Intercom の Fin をベースに構築されたサポートエージェントは、ユーザーが直前に離れたページや、チャットを開く前に同じ壊れたボタンを何度クリックしたかを把握していませんでした――まさに教科書どおりのゾンビエージェントです。Pendo がリアルタイムで Fin にそのコンテキストを提供し始めると、エージェントは具体的な言葉で会話を始められるようになりました: 「設定を調整する際に少し手間取ったようですね。何を変更しようとしていたのですか?」
プロアクティブメッセージへのエンゲージメントは200%向上。会話の86%は人間にエスカレーションすることなく解決し、CXスコアは5点満点中4点を維持しました。さらに特筆すべきは、91%がそもそも人間のサポートを必要としなかったことです。
Pendo for Agents をはじめよう:ゾンビを減らし、アドボケイトを増やす。
現在、Agent Analytics と Agent Toolkit はひとつの屋根の下に統合されています。Pendo for Agents は、構築・購入を問わずあらゆるエージェントを、スタック内のゾンビではなく、顧客の最良のアドボケイトへと変えるために設計されています。Agent Analytics はエージェントが役立っているかどうかを明らかにし、Agent Toolkit はユーザーがチャットに入力する前から、エージェントのサポート力を高めます。一方が価値を証明し、もう一方がその価値をより速く実現します。
サポートやITを担当している方へ。エージェントがチケット対応に追われるのをやめ、本当に人間が必要な会話にチームのリソースを集中させる方法がここにあります。
ロードマップを担当している方へ。エージェントが次に何をすべきかを、ついに明確に把握できる方法がここにあります。
アプリ内アシスタント、カスタマーサポートエージェント、または自社チームが構築したツールをお持ちの方は、 デモを申し込む ことで、プロアクティブでコンテキストを考慮した会話が解決率にどのような効果をもたらすかをご確認ください。
すでにPendoをご利用ですか?オープンベータ期間中は、Agent Toolkitを無料でご利用いただけます。 Pendoプラットフォームにアクセスして、Agent Toolkitを有効にしてください。