多くの企業がAIエージェントの立ち上げを競っています。しかし、最も重要な問いに答えられる企業はごくわずかです。それは「ユーザーは本当にそこから価値を得ているのか？」という問いです。
従来のAIオブザーバビリティツールは、システムが応答したかどうかを教えてくれます。レイテンシ、トークン数、ツール呼び出し、トレースを表示することもできます。しかし、プロダクト、デジタルエクスペリエンス、エグゼクティブチームにとって、それだけでは不十分です。技術的に成功した応答であっても、ユーザーエクスペリエンスとしては失敗している場合があります。
AIエージェントは応答を返しながらも、ユーザーを失望させることがあります。
プロダクトチームはこのような状況を以前にも経験しています。ユーザーが従来のインターフェースで行き詰まったとき、同じ機能しないボタンを何度も繰り返しクリックしました。私たちはそれをレイジクリックと呼び、それはプロダクトアナリティクスにおける最も有用な摩擦シグナルの一つとなりました。今、インターフェースはクリックから会話へと移行しており、フラストレーションのシグナルもそれに伴って変化しています。
レイジプロンプトの登場。
レイジプロンプトとは何か？
レイジプロンプトとは、AIエージェントとのやり取りにおいて、フラストレーション、混乱、または繰り返しの失敗を示すユーザープロンプトのことです。
Rage prompts show up in ways any product team will recognize:
They often fall into one of several key patterns:
個々には些細な問題ですが、集約するとひとつの指標になります。Pendo Agent Analyticsは、強いフラストレーションシグナルを含むプロンプトが少なくとも1つ存在する会話の割合として、レイジプロンプト率を測定します。これらのシグナルには、不適切な言葉の使用、同じタスクを完了しようとする繰り返しの試み、またはすべて大文字で入力されたテキストが含まれます。
レイジプロンプトが重要なのは、システム指標では完全に見落とされてしまうことを捉えているからです。つまり、ユーザーがエージェントに助けられるのではなく、エージェントと格闘している状態です。
レイジプロンプトが新たなレイジクリックである理由
レイジクリックは、従来のUIでユーザーが行き詰まっている瞬間を見つける手段をプロダクトチームに提供しました。レイジプロンプトは、会話型およびエージェント型インターフェースに対して同じ役割を果たします。すでに追跡しているほぼすべてのフリクションシグナルには、AI ネイティブな対応物があります。
| Traditional product experience | AI agent experience |
|---|---|
| Rage clicks | Rage prompts |
| Dead clicks | Unsupported requests |
| Repeated navigation | Repeated prompts |
| Form abandonment | Prompt abandonment |
| Support escalation | Human escalation after agent failure |
| Session replay | Conversation replay plus session replay |
| Funnel drop-off | Prompt-to-resolution drop-off |
プロダクトアナリティクスの10年から得た教訓は今も変わりません。ユーザーは何かわかりにくいと感じても、めったにチケットを起票しません。何度もクリックして、そして離脱します。AIエージェントはそのサイクル全体を1つの会話ウィンドウに凝縮します。トランスクリプトを見れば、フラストレーションはそこにはっきりと現れています。
インターフェースがクリックから会話へと移行するにつれ、フラストレーションのシグナルも変化します。
従来のAIオブザーバビリティの盲点
明確にしておくと、従来のAIオブザーバビリティは必要不可欠です。チームがモデル呼び出し、トークン数、プロンプト、補完、ツール呼び出しをキャプチャする方法を標準化することは、インフラの可視性にとって重要であり、エンジニアリングチームは必ずこれらを追跡すべきです。
しかし、それらの指標だけでは不完全な全体像しか描けません。テレメトリーは次のような質問に答えることができます：
- モデルは応答したか？
- 応答にどれくらいの時間がかかったか？
- 何トークンが使用されたか？
- どのツールが呼び出されたか？
- エージェントはエラーを起こしたか？
しかし、次のような質問には完全には答えられません：
- ユーザーは回答を信頼したか？
- ユーザーはタスクを完了したか？
- ユーザーは同じことを繰り返す必要があったか？
- ユーザーはワークフローを途中で放棄し、従来のUIに戻ったか？
- エージェントはサポートチケットを減らしたか、それとも増やしたか？
- エージェントはアダプションとリテンションを改善したか？
2つ目のリストこそが、AI投資の成否を分ける領域です。経営幹部は、企業が構築・購入したエージェントを人々が実際に使っているか、ユーザーがそれを信頼しているか、時間を節約できているか、そしてそれがアクティベーション、リテンション、またはサポートデフレクションに反映されているかを確認したいと考えています。
これまでのAIオブザーバビリティは、エージェントが何をしたかを教えてくれました。ユーザー行動データは、それが機能したかどうかを教えてくれます。
プロンプトの量だけではAIの価値を証明できません。完了したインテントこそが証明になります。これが、AIエージェントがインフラテレメトリーと並行して使用状況のオブザーバビリティを必要とする理由です。エクスペリエンス層こそが、技術的なパフォーマンスがビジネス成果に転換されるか否かの分岐点です。
プロダクトチームが追跡すべきAIエージェントの指標
レイジプロンプト率が主要指標であるとすれば、それはコンテキストの中で最もよく機能します。プロダクトチームが注目すべき、より完全な全体像を以下に示します：
| Metric | What it tells you |
|---|---|
| Rage prompt rate | Where users are frustrated with the agent |
| Unsupported request rate | What users want that the agent cannot currently handle |
| Issue rate | How often conversations contain a detected problem |
| Error rate | How often conversations hit a technical failure |
| Conversation depth | Whether longer interactions signal engagement or struggle |
| Repeat and refined prompts | Where the agent misunderstood, and how hard users work to be understood |
| Human escalation after agent use | Where self-service failed |
| Agent-assisted task completion | Whether AI helped users finish meaningful workflows |
| Agent adoption and retention by segment | Which audiences rely on the agent, and which avoid it |
| Feedback rate | Where users explicitly accept or reject agent responses |
| Agent-to-feature pathing | What users do before and after engaging with AI |
| Workflow speed, agentic vs. traditional | Whether the agent is actually faster than the old way |
ここで、会話の深さについて少し立ち止まって考える価値があります。なぜなら、これはこのリストの中で最もよく誤読される指標だからです。会話が長いということは、優れたエージェントを探索している積極的なユーザーを意味する場合もあります。一方で、同じリクエストを5回言い換えているフラストレーションを感じたユーザーを意味する場合もあります。深さが意味を持つのは、フラストレーションシグナルと組み合わせたときだけです。outcomes. That is the difference between measuring usage and measuring useful usage.
(AIの観測可能性と測定についてより詳しくは、AIエージェントのパフォーマンス測定に不可欠なKPIに関するPendoのガイドをご覧ください。)
レイジプロンプトがプロダクトについて明らかにすること
ほとんどのチームが見落としている点がここにあります。レイジプロンプトは、単なるエージェントの失敗シグナルではありません。プロダクトディスカバリーにとっても不可欠な情報です。
不満を持つプロンプトをテーマ、ワークフロー、セグメント別にクラスタリングすると、エージェントの問題にとどまらず、プロダクト内の課題を示すパターンが浮かび上がってきます。例えば：
- ドキュメントの欠如または不備。 ユーザーは他の場所で回答が見つからなかったため、エージェントに質問します。
- わかりにくいワークフロー。 UIでは操作が難しいことをエージェントに依頼されます。
- エージェントのカバレッジのギャップ。 サポートされていないリクエストは、ユーザーが次に求めているもののランク付きリストです。
- 不適切な検索ソース。 エージェントが古いまたは誤ったコンテンツから自信を持って回答してしまう。
- 不明確な用語。 ユーザーと製品が同じものに対して異なる言葉を使用している。
- 未対応のロードマップニーズ。 まだ存在しない機能への繰り返しのリクエストは、無償の顧客の声リサーチです。
特定のワークフローに関するフラストレーションの急増は、単なるモデルの問題であることはほとんどありません。それは、製品体験とユーザーの期待がどこでずれているかを示すマップです。
レイジプロンプトを減らす方法
レイジプロンプトの検出はあくまでスタートです。最終的な目標はもちろん、それを減らし、その過程でプロダクトをより良くすることです。レイジプロンプトを改善につなげるための実践的なループをご紹介します。
1. 上位の「レイジプロンプト」テーマをクラスタリングする。 不満を示すプロンプトを、トピック・ワークフロー・ペルソナ・アカウントセグメント別にグループ化します。同じタスクに関する5件の怒りのプロンプトは、一つのパターンです。
2. エージェントの問題とプロダクトの問題を切り分ける。 すべての「怒りのプロンプト」がモデルの問題を意味するわけではありません。根本的なワークフローがわかりにくく、エージェントがその不満の表出点になっているだけの場合もあります。会話と並行してセッションを確認することで、その違いが明確になります。Session Replayと会話データを組み合わせることで、インタラクションが問題になった際にユーザーが何をしていたかを把握できます。
3. エージェントのカバレッジギャップを修正する。 サポートされていないリクエストや繰り返されるプロンプトを活用して、エージェントにより適切な指示、検索ソース、ツール、またはワークフローが必要な箇所を優先的に特定します。
4. 必要な瞬間にユーザーをガイドする。 ユーザーが同じタスクで繰り返し躓くとき、アプリ内ガイダンスによって、フラストレーションがレイジクリックやサポートチケットになる前に摩擦を解消できます。
5. エージェント型ワークフローと従来のワークフローを比較する。 ユーザーがエージェントを途中で放棄し、手動でタスクを完了した場合、そのエージェントは摩擦を生み出しています。両方のパスにおけるタスク完了時間を測定することで、データによって議論に決着をつけることができます。
6. スナップショットではなく、トレンドを追跡する。 エージェントに意味のある変更を加えるたびに、レイジープロンプト率、未対応リクエスト率、タスク完了率、フィードバックをモニタリングしましょう。目標はAIの失敗を観察するだけでなく、フィードバックループを閉じてエクスペリエンスを改善することです。
PendoがAIエージェントエクスペリエンスの理解をチームに提供する方法
上記のすべてを実現するには、エージェントの会話と周囲のプロダクトの動作を一か所で確認する必要があります。それを実現するために構築されたのが、Pendo Agent Analytics です。
Agent Analytics を使用することで、チームは以下のことが可能になります：
- 会話とプロンプトを分析して、ユーザーが何を質問しているかをユースケース、アカウント、ユーザータイプ別に確認できます
- レイジプロンプトを自動検出し、レイジプロンプト率、問題発生率、未対応リクエスト率、エラー率を経時的に追跡します
- 会話の前後に何が起きたかを確認する Session Replay を使用すると、エージェントのインタラクションがリプレイのタイムライン上に直接注釈として表示されます
- AIエージェントイベントを使用して、パス、ファネル、スティッキネスレポートで、エージェントをフルジャーニーに接続する（プロダクトアナリティクスと併用）
- エージェントのバージョンを実験と比較して、モデル、ツール、または設定の変更が主要指標にどう影響するかを測定する
- ビジネスへの影響を実証する：エージェントの使用状況を、従来のUIと比較した定着率、タスク完了率、ワークフロー速度に結び付ける
AIオブザーバビリティの次の時代は、エージェントのパフォーマンスだけでなく、ユーザーがいかに成功するかによって測られるでしょう。AIエージェントで勝利を収める企業は、摩擦を検出し、ユーザー行動を理解し、エージェントとのインタラクションをビジネス成果に結びつけます。
Pendo Agent Analyticsが、レイジープロンプトの検出、AIエージェントの導入状況の把握、エージェントのインタラクションと実際のプロダクト成果の関連付けをどのように支援するかをご覧ください。デモを申し込む。
