RF-SMART is the leading third-party warehouse management system (WMS) for NetSuite, serving 2,800+ customers across 40+ countries.
Software
201-1k
RF-SMART had no reliable way to measure their AI agents' performance—or understand why the agents were making the decisions they made. Without that visibility, the team couldn't prioritize what to build next.
RF-SMART turned to Pendo Agent Analytics to get a clear view of agent performance, individual customer interactions, and AI decision-making.
With that visibility in place, RF-SMART accelerated their AI development cycles, brought cross-functional teams into alignment with accessible reporting, and built a product roadmap grounded in real customer data.
AIエージェントをリリースすることは簡単です。しかし、リリース後にそのエージェントが実際に何をしているかを把握することは、まったく別の問題です。
それが、プロダクトチームがすぐに直面する疑問です。エージェントは稼働中で、ユーザーはそれと対話しており、気づけば社内で最もよく聞かれる質問が「なぜAIはそうしたのか？」になっています。従来のアナリティクスは、その問いに答えるようには設計されていませんでした。ログは役立ちますが、それにも限界があります。そして、エージェントがどのように推論し応答するかについての真の可視性がなければ、チームは何が機能していて、何が壊れていて、次に何を構築すべきかについて、推測するしかない状況に置かれてしまいます。
RF-SMARTは、この課題を身をもって知っていました。
RF-SMARTは40年以上にわたり、倉庫・在庫・サプライチェーン業務の効率化を支援してきました。同社のソフトウェアは、大規模なERP（エンタープライズ・リソース・プランニング）システムを利用するお客様が、重要なビジネスプロセスをより迅速かつ効率的に遂行できるよう支援しています。AIがエンタープライズソフトウェアを再定義し始める中、RF-SMARTはいち早く行動し、AIエージェントが複雑なワークフローのナビゲート、オンボーディングの加速、そして少ない手間でのタスク完了においてどのようにお客様を支援できるかを探求しました。
しかし、そうした体験を構築する中で、より難しい問いが浮かび上がってきました。エージェントをどう測定するか——単に機能するかどうかだけでなく、なぜそのような動作をするのかという点まで、どう評価するのかという問いです。
その答えを求めて、RF-SMARTはPendo Agent Analyticsを活用しました。
RF-SMARTのInnovation Product OwnerであるElliot Landにとって、AIの価値はひとつのことに集約されます。それは、顧客がより多くのことを達成できるよう支援することです。
「AI革命はすでに到来し、進行中であり、物事は毎日どんどん速く変化しています。私たちにとって、私たちの製品はユーザーの効率を高めることを目的としています。それが私たちが最終的に行うことです。」
——Elliot Land、Innovation Product Owner、RF-SMART
チームはAIを、RF-SMARTのミッションの自然な延長線上にあるものと捉えています。
「AIエージェントはあなたのために何ができるか。毎日10分を節約し、週に1時間を節約し、1年で数日を節約できるとしたら？」とLandは述べた。「1年のうちに1か月分の余裕を提供できれば、あなたがより良くなる手助けができる。」
そのビジョンを念頭に置き、RF-SMARTはAIエージェントの開発に着手しました。このエージェントは、製品のオンボーディングを簡素化し、顧客が複雑な実装タスクをより自律的に完了できるよう支援することを目的としています。Pendomoniumのセッションにおいて、チームはこの取り組みを、エンタープライズソフトウェアのオンボーディングを「シンプルに、より良く、より速く、より強く」するという長年の取り組みの次なる進化として説明しました。
しかし、開発が加速するにつれ、チームはAIの測定には従来のソフトウェアの測定とは異なる考え方が必要だと、すぐに気づきました。
AIを試験的に導入している多くの組織と同様に、RF-SMARTも当初はシンプルな問いに焦点を当てていました。エージェントは機能しているか？
「Agent AnalyticsでAIを測定できるようになる前は、会話はただAIが機能しているかどうか、必要なことをしているかどうかという話だけでした」とLandは述べた。
このアプローチは概念実証テストには十分でしたが、長期的な製品開発を支えるには不十分でした。
AIエージェントは、従来のソフトウェアチームが管理に慣れていないレベルの予測不可能性をもたらします。Landがペンドモニウムのプレゼンテーションで説明したように、チームはもはやクリック数、ページビュー、ワークフローを測定するだけではありません。推論、コンテキスト、意思決定を測定しています。ステークホルダー、テスター、エグゼクティブ、顧客を問わず、ある問いが必ず浮かび上がります：
「なぜAIはそうしたのか？」
RF-SMARTが実験から自社のAIイニシアチブのスケーリングへと移行するにつれ、この問いに答えることが重要になりました。
チームは、ユーザーがエージェントとどのようにやり取りしているかを把握し、問題を迅速に特定し、次に何を構築するかについてより賢明な意思決定を行う方法を必要としていました。
RF-SMARTは、エージェントのパフォーマンスや顧客とのインタラクションを可視化し、AI戦略を進化させるために、既存の開発者ツールと並行してPendo Agent Analyticsを導入しました。
「Agent Analyticsを導入したことで、より広い視野で全体像を把握し、他の指標を調べ、私たちが成長するために必要なAIエージェントに関するより高度で成熟したレポートを作成できるようになりました。機能しています。では、さらに改善していきましょう。」
—Elliot Land
お気に入りの機能について、Landには明確な勝者があります：
「個々の会話は、エージェント分析の中で私のお気に入りのビューです。」
ログや集計レポートのみに頼るのではなく、LandはユーザーがどのようにRF-SMARTのAIエクスペリエンスと関わっているかを理解するために、実際の顧客とのインタラクションを定期的にレビューしています。
「私はAgent Analyticsの会話ビューで個々の会話をランダムに引き出してレビューすることから始めるのが好きです。」
会話をSession Replayに直接連携できる機能により、チームはさらに深いコンテキストを得ることができます。
「この2つのビューが本当に結びついていることで、ユーザーがその瞬間にどこにいて、AIで何をしたのかというユーザーエクスペリエンスを非常に簡単に理解できるようになります」とLandは述べた。この組み合わせにより、チームはハイレベルなレポートから詳細な調査やユーザーレベルの理解へと迅速に移行できる。
RF-SMARTが発見した最大のメリットの一つは、AIパフォーマンスデータをエンジニアリングチーム以外にも公開できる機能でした。
「これは、AIエージェントのデータを表示するために私たちが持っている最良のツールであり、それがどのように機能しているかを人々に示すレポートに必要なものです。また、PO、PM、そしてプロダクトに関わる誰もが一目で確認・理解できる形式で提供できることも非常に便利です」とLandは説明した。
彼はその経験を「非技術者向けの、非技術的な技術レポーティング」と表現している。
その可視性はチーム間の連携強化に貢献し、より迅速な対話、素早いフィードバックループ、そしてRF-SMARTのAI製品の進化に向けたより的確な意思決定を可能にしました。
Landはまた、AIの開発サイクルの短縮に貢献したいくつかの実践的なメリットも強調しました。その中には、実装の手間が少ないことも含まれます。
RF-SMARTがAI機能の拡充を続ける中、顧客フィードバックは同社の主要な指針であり続けています。
「私たちが構築し、取り組むべきことの最終的な真実の源は、顧客からのフィードバックとインタラクションにあります。それが今やAgent Analyticsで確認できるようになりました」とLandは述べた。
チームはベータ顧客と緊密に連携し、Agent Analyticsを活用して実際の使用パターンを把握し、予期しない動作を明らかにしています。
LandはAI開発を、顧客に食材のコレクションを提供することに例えています。
「あなたは、AIで作りたいレシピにおいて、材料をどのように組み合わせるべきかというアイデアを持っています。しかし、断言しますが、あなたの顧客は、あなたが予期しなかった結果を生み出すために、それらの材料を組み合わせる新しい方法を見つけるでしょう。」
こうした発見は、RF-SMARTが将来のイノベーションに向けた機会を特定する助けとなっており、さまざまな顧客固有のニーズに対応できる、よりモジュール化されたAIアーキテクチャの実現も含まれています。
Landにとって、重要なのはまず始めること、素早く学ぶこと、そして勢いを築くことです。
「今日AIエージェントに取り組んでいる他のプロダクトオーナーへのアドバイスは、とにかく最初のものをリリースすることです」と彼は言った。「レシピを手に入れ、それが実現可能であること、そしてどのように機能しているかを確認すれば、得られた結果があなたの世界を切り開いてくれるでしょう。」
詳細については、こちらをご覧ください Pendomonium 2026におけるRF-SMARTのライトニングラウンド：アプリからエージェントまで、オンボーディングを最適化する方法。
Pendoがどのように組織に価値を提供するかをご覧ください
