AIエージェントは、製品、エンジニアリング、IT、カスタマーサクセスの各チームに導入されています。それは素晴らしいことです。しかし、それらが本当に役立っているかどうか、把握していますか？

これは馬鹿げた質問に聞こえるかもしれませんが、あらゆる場所で問われている重大な問いです。数年が経過し、人々は「見返りは何か？どのように改善されたのか？」と知りたがっています。 

この問いに答えるために、私たちは現場の社内専門家の一人に話を聞きました。 Pierce Healy氏は Zelta.aiを共同創業し、現在はPendoのAIプロダクト担当シニアディレクターを務めています。Pierceは社内随一のAIエキスパートとして、顧客や同僚（私を含む）がAIをより深く理解し活用できるよう支援しています。 

このトピックについて、彼が語った内容をご紹介します。 

ステップ1：北極星となる指標を選ぶ

チームが AIの価値を測定する 際に最もよくある間違いは、人間の作業量や節約された時間を基準にすることです。「これは人間がやれば5時間かかったから、5時間を節約できた」と考えるのはごく自然なことです。

しかし多くの場合、エージェントはそもそも人間には不可能だったことを実行しています。たとえば、チームの誰も知らない言語でプロトタイプを構築したり、数千件のサポートチケットからテーマを抽出して即座に改善点を特定したりすることです。「ベースラインが事実上無限大になるため、計算自体が意味をなさなくなります」とPierceは説明しています。

代わりに、チームがすでに重視している成果から出発し、それを測定するべきです。これはチームやエージェントに求める役割によって異なります。 

  • カスタマーサクセス はチケット解決率、解決までの時間、エスカレーション件数を重視します。
  • エンジニアリングチーム は新機能のリリース速度や、仕様から本番環境までの時間を重視します。
  • ITチーム はプロビジョニングの速度、手動リクエストの削減、技術的負債とコストの変化、エージェントが代替できるソフトウェアなどを追跡する場合があります。
  • 営業 は追跡する必要があります アップセル転換率またはリードスコアリングの精度。 

Pierceのアドバイス：どのチームに所属していても、指標を一つに絞ってください。 エージェントの導入前後で追跡できるものを選ぶようにしてください。「改善された」状態を定義できなければ、ROIを測定する準備ができていません。 

ステップ2：エージェントにタグを付けてレポートを設定する

次に、「ダッシュボードやレポートで、エージェントがステップ1で定義した指標を動かしているかどうかを確認できるか？」という問いに答える必要があります。 

多くのチームはこのステップを省略してしまい、エージェントがステップ1で選んだ成果を生み出しているか（あるいは生み出せていないか）の可視性を失っています。適切なエージェントのインストルメンテーションは次のようなものであるべきです：

  • 自己報告型の評価よりも行動シグナルを重視する。評価（eval）、つまりエージェントの出力を本番稼働前に期待される回答と照合してスコアリングすることは、エンジニアリングが「正解」の基準を合わせるうえで有用ですが、ゲーム化されやすく、大規模では主観的になりがちで、実際に 現実の環境で 起きることを反映していません。本当に確認すべきなのは、下流の行動変化です。Tier 2へのエスカレーションが減っているか？エンジニアが修正するバグが減っているか？それが注目すべき点です。
  • 測定ツールを設定する。 ほとんどのAIモデルにはネイティブのトレースとロギング機能が標準で含まれていますが、エージェントがどのように使われているかを完全に把握することはできません。有効性を理解するには、ユーザーがエージェントとどのようにやり取りしているか（何を質問したか、会話がどこで行き詰まったか、その後何をしたか）を完全に可視化する必要があります。 エージェントアナリティクス は、エージェントエコシステムにおけるその行動レイヤーを明らかにできる唯一のツールです。
  • 成果と並行してエージェントのスコープを追跡する。 バックグラウンドエージェント（ユーザーが意図的に「使用」を選択することなくワークフローを実行するタイプ）の場合、導入の見え方は異なります。何人のユーザーがクリックしたかを測定するのではなく、パフォーマンスに基づいてエージェントのスコープが拡大しているか縮小しているか、また時間の経過とともにより自律的に行動することが信頼されているかどうかを測定してください。

ステップ3：指標をリーダーシップが本当に重視することに変換する

北極星指標とインストルメンテーションが揃いました。次は、ビジネスケースを作成する時です。 

  • プロダクトリーダー向け：ROIはコストよりも戦略的な妥当性に関するものです。ユーザーはこれを役立つと感じているか？目標を達成するためのより効率的な方法か？この機能は今後3〜5年間、自社の競争力を維持するものか？これまで対応できなかった新しい市場セグメントやユースケースを開拓できているか？エージェントの価値を、人員削減ではなく市場でのポジショニングとして捉えてください。
  • ITおよびオペレーションリーダー向け：効率性について知りたいと考えています。エージェントのパフォーマンスを、解決率、プロビジョニングにかかる時間、手動ステップの削減など、サービスレベルの改善に直接結びつけてください。 
  • エグゼクティブおよび取締役会向け：「Q2において顧客のエスカレーション率が22%低下した」といったビジネス成果を中心に説明してください。エージェントはその手段です。

AIエージェントが組織内でさらに普及するにつれ、リーダーシップは人間のチームを管理するのと同じように、各エージェントが何をしているか、どのようなアクセス権を持っているか、パフォーマンスに基づいてスコープを拡大または縮小すべきかどうかを管理する方法を引き続き必要とするでしょう。 

これはエージェント管理と考えてください。マネージャーが新入社員により多くの自律性を与える前にその仕事をレビューするのと同じように、エージェントの権限を拡大する前に各エージェントの有効性を把握しておく必要があります。 

エージェントが実際に何をしているか確認する準備はできていますか？ Agent Analyticsのデモを見る。