Pushpay は Pendo Agent Analytics を活用して、実際のユーザーの意図を引き出し、自然言語検索を向上させました

彼らはこの洞察を活用してプロンプトの応答を微調整し、結果の透明性を高め、最初のクエリを通じてユーザーをガイドする方法を再考しました。

推測から明確な優先順位付けへ

プロンプトの分類によって、Pushpayの当初の予想は覆されました。当初、チームはユーザーがどんな質問をするかを明確に把握していると考えていました。代わりに、エージェント アナリティクスは幅広いクエリを表示し、その多くは有効だがサポートされていないものでした。

「毎日が驚きだ」とフランクは言った。「ユーザーから、私たちがサポートするとは思ってもみなかったような質問をエージェントにされることがありますが、多くの場合、サポートできます。」これはロードマップの優先順位付けにとって非常に大きなことでした。

場合によっては、ユーザーがプラットフォームで完全にサポートされている質問をしたにもかかわらず、フィルターが簡単に表示されないことがありました。この洞察により、チームはプロンプト推論を再設計し、フィルターのラベル付け方法を改善し、結果の表示方法を再考することになりました。

チームは、新たなユースケースと追跡されたユースケースの両方を使用して、ユーザーの実際の検索方法により適合するようにエージェントを継続的に最適化してきました。

新しい必須のAIエージェントインフラストラクチャのレイヤー

現在、Pendo Agent AnalyticsはPushpayのエージェントライフサイクルの中心となっています。チームはプロンプトレベルのメトリクス、レイジプロンプト、リプレイデータを毎日確認して、摩擦を理解し、プロンプトエンジニアリングを改良し、成功がどのようなものかを検証します。

彼らは、レイジプロンプトを毎日監視して故障を早期に把握し、プロンプトのテーマを追跡して、トレンドとなっているユースケースを特定し、エージェントの調整が必要な箇所を示すスクリプト外の行動にフラグを立てます。

フランクの言葉を借りれば、「答えが重要なのではありません。」それは質問についてです。「それがエージェント アナリティクスが私たちに見せてくれることです――人々が何をしようとしているのか、次にどこへ向かうのか。」

Pushpay はまた、Pendo Guides をサムズアップ/サムズダウンイベントに接続して、その場でフィードバックを取得し、ユーザーに積極的に情報を提供しました。

「プロンプトデータは、彼らが何を望んでいるかを教えてくれます。」リプレイは彼らが何をしたかを示します。「一緒になると、彼らはとてつもなく強力なんです」とフランクは説明した。「ユーザーが何をしたか、出力はどうだったか、そしてそれがユーザーの意図と一致したかどうかを正確に把握できます。」「それは成功を定義し、うまくいっていないことを修正するのに役立ちます。」

実際のユーザーの声と行動が意思決定に組み込まれるようになったことで、Pushpay は検索エージェントをリスクのあるパイロットから、繰り返し利用できる信頼性の高い製品パターンへと変革し、将来のすべてのエージェントのためのより強固な基盤を構築しました。