PendoのAIエージェントの定着率を61%改善した方法

翌日には、この問題がイシューリストから消えていました。1回のアーキテクチャリリースで、フラグが立てられた会話が数千件からゼロになったのです。

想定していなかったユーザーと、その発見方法

Leoの当初のICP（理想的な顧客プロファイル）は明確でした。Pendoを知らず、アナリティクスを学ぶ時間もなく、シンプルな質問に素早く答えを求めている人々です。昨年Leoをローンチした際、このコホートは確かに現れました。

しかし、もう一つのコホートも現れました。残念ながら、それは私たちが想定して構築していなかったコホートでした。それはAnalyticsのパワーユーザーです。Leoを見て「自分のデータ全体の上に会話型UIを載せたんだ」と言ったPendoのチャンピオンたちです。彼らはすぐに、クロスアプリのコンバージョンファネル分析や大規模データセットへのクエリなど、複雑なアナリティクスの質問をし始めました。Leoはそれをうまく処理できませんでした。そのような制限が存在することは把握していましたが、ユーザーがどれほど頻繁にその限界に直面しているか、またどのギャップが最も摩擦を生んでいるかは把握できていませんでした。

Agent Analyticsを使って、ユーザーの利用パターンを定量化するためのトラッキングユースケースを構築しました。Leoがうまく処理できるシンプルな質問をユーザーが行う頻度と、プロンプトがより高度でエクスペリエンスが崩壊している領域に踏み込む頻度はどれくらいか？複雑さのレベルと意図（獲得に関する質問、採用に関する質問、コンバージョンに関する質問など）によって分類しました。

PendoのAnalyticsシニアディレクターと私はそのデータをもとに、どの機能を最初に構築するかの優先順位を決めました。最も良かった点は、Agent Analyticsのデータが構築順序を決定したことです。どのPMも認めるように、これは直感や声の大きい人の意見に頼るよりもはるかに好ましいことです。ユーザーが各ギャップに直面する頻度と、各修正によって期待できるインパクトを客観的に把握できていました。

最終的に、第二のコホートが行っていたより複雑な定量的リクエストに対応するため、Leoのツール機能を拡張しました。

評価では準備完了と示されたが、それ以上のものが必要だった

Leoの数千人のユーザーにツールの変更を展開する前に、それが本当にエクスペリエンスを改善するのか、それとも単に問題を別の場所に移すだけなのかを確認する必要がありました。評価結果は良好でした（全項目でグリーン）。

難しいのは、私たちがもはや評価だけを信頼していないことです。この1年間、チームはLeoの継続的な構築と改善を行ってきましたが、テスト自動化スイートで全項目がグリーンになっていても、最初の実際のユーザーがテストで想定していなかった質問をすると、エージェントが失敗することがわかりました。評価は制御された環境ですが、ユーザーは決してそうではありません。さらに、これらのモデルの非決定論的な性質も加わり、すべてのテストに合格しても最初の会話で失敗することがあります。

この意味のある最適化への障壁を克服するため、定量的な変更を全ユーザーに展開する前に、Agent Analyticsで実験を実施しました。新しいツールをユーザーベースの20%でA/Bテストしました。その結果、そのコホートにおいてイシュー率が67%低下しました。合成ボットではなく、実際のユーザーによる結果です。また、ユーザー行動のより広いコンテキストに接続されているため、ユーザーエンゲージメントとAI品質指標をリアルタイムで追跡することができました。