プロダクト開発者がAIのROIを証明する方法

AIアシスタントの構築とテストに数週間を費やした後、顧客が実際に使い始めるのを見るのはほっとするものです。しかしその後には、その時間とコストが適切に使われたかどうかを説明しなければならない場面がやってきます。

プロダクトチームがその会話に備えるのには十分な理由があります。最近の KPMGの調査によると、コストがメリットを上回り始めた際に、AIエージェントの導入を遅らせたり縮小したりしたと回答した組織は49%に上りました。

ROIについて明確な答えを得ることは、意外に難しいものです。ユーザーがセットアップを途中で放棄する一方で、アシスタントへのプロンプト数は増えているかもしれません。顧客はその回答を気に入っていても、内容を確認するために余分な時間を費やしているかもしれません。好調なエンゲージメント数字が出ていても、改善に金銭的な価値を付けるまでには、まだやるべきことが残っています。

AIのROIを証明するには、まずユーザーが完了すべきタスクから始めましょう。AI機能がユーザーの成功を助けているかどうかを測定し、既存のエクスペリエンスと結果を比較し、その改善を価値として評価できるメリットに結びつけます。機能の構築と運用にかかるコスト全体も含めてください。

それにより、説明可能なビジネスケースと、次に何を構築するかを判断するための根拠が得られます。

ユーザーの業務から始める

AI機能によって改善すべきタスクを1つ選びましょう。新しい管理者がワークスペースのセットアップを完了できるよう支援することで、具体的に測定できる対象が生まれます。特定の業務を持つ人物、一連のアクション、そして明確な結果です。

機能を評価する前に、成功の定義を決めておきましょう。セットアップの場合、それはサポートを必要とするエラーなしに、7日以内に必要な設定を完了することを意味するかもしれません。

次に、アシスタントを利用できる機会のあるユーザーを特定します。セットアップを開始する管理者のみが対象であれば、そのグループ内での採用率を測定しましょう。アクティブな顧客全員を分母として使用すると、意図したユーザー層にどれだけリーチできているかが見えにくくなります。

ワークフローを開始したすべてのユーザーを追跡しましょう。途中で離脱した人、エラーに遭遇した人、アシスタントを一度も開かなかった人も含めます。機能がセットアップ全体を改善しているかどうかを理解するには、それらのエクスペリエンスも必要です。

最初から完了と品質を両立させましょう。設定のミスを翌日に修正しなければならないようでは、セットアッププロセスを速めても価値はほとんどありません。

信頼できるベースラインを確立する

AIワークフローを、顧客が通常使用するエクスペリエンスと比較しましょう。既存のインターフェース、サポート担当者が支援するプロセス、またはアシスタントなしのワークフローのバージョンが比較対象となります。

両グループに同じタスク定義と測定期間を使用してください。顧客のエクスペリエンス、アカウントの規模、サポートへのアクセス状況の違いを考慮しましょう。オンボーディングフローの刷新と同時期にロールアウトを行う場合は、それぞれの効果を区別するために特別な注意が必要です。

ランダム化実験を行うと、改善をAI機能に帰属させやすくなります。参加者の割り当て方法は、実際の業務の進め方に基づいて決定してください。同じアカウントの管理者がセットアップ作業を共有している場合、個人単位ではなくアカウント単位で割り当てる方が、よりクリーンな比較結果が得られる可能性があります。

同等のコホートや前後比較分析からも学ぶことができます。ただし、その限界を明確にしておきましょう。アシスタントを使用することを選んだ顧客は、もともとモチベーションが高かったり、製品に慣れ親しんでいたりする可能性があります。完了率の向上をアシスタントの効果として帰属させる前に、そうした違いを考慮してください。

タスクの成功とともに利用状況を測定する

導入状況を把握することで、顧客がその機能を試しているかどうかを理解できます。価値を評価するには、顧客が試した後に何が起きるかを追跡しましょう。

オンボーディングアシスタントの場合、有用な測定計画は次のようになります：

エンゲージメントは、その業務の文脈で解釈してください。2回のやり取りでセットアップを完了させるアシスタントは、10回必要なアシスタントよりも優れているかもしれません。プロンプト数が多い場合は、関心の高まり、繰り返される失敗、またはより複雑なタスクを反映している可能性があります。どの説明が当てはまるかを判断する前に、会話データと完了データを確認してください。

Pendo Agent Analytics は、チームが会話を詳しく調べ、ユースケースや問題を特定し、エージェントのインタラクションをその後のプロダクト行動に結び付けるのに役立ちます。そのコンテキストを活用して、顧客が成功している箇所とつまずいている箇所を調査してください。Headless Pendoを使用すると、Pendo MCPを介してClaudeやChatGPTなどの連携ツールから直接、エージェントの導入状況、リテンション、問題を確認できます。Pendoアプリを開く必要はありません。

測定のカバレッジも確認してください。会話をユーザーのその後のアクションに結び付けられない場合は、結論を出す前に、インストルメンテーションまたはアイデンティティのギャップに対処する必要があるかもしれません。

会話のサンプルを対応するタスク結果と照らし合わせて確認してください。アシスタントが有益な回答を提供していても、顧客がセットアップの完了に苦労している場合があります。両方を確認することで、顧客の体験を反映した形で成功を定義できます。

改善をビジネス価値に結び付ける

改善を測定したら、その価値を明確にしましょう。

タスク完了の迅速化により、余剰キャパシティを生み出すことができます。サポートエスカレーションの削減により、顧客対応に必要な工数を減らすことができます。アクティベーションやリテンションの改善は、収益に貢献する可能性があります。

各メリットには、観察された変化とその財務的影響を結びつける説明が必要です。従業員が時間を節約し、その時間をより多くの業務に充てる場合は、増加したキャパシティと成果を説明してください。実現した節約を主張するには、ベンダーコストの削減、有給時間の削減、採用回避など、変化した支出を特定してください。

リテンションにも同様の注意が必要です。リピートユーザーはその機能に価値を見出している可能性がありますが、収益への影響を推定するには、更新、拡張、またはその他の関連する商業的成果を検討する必要があります。読者が観察された結果と区別できるよう、予測と前提条件にはラベルを付けてください。

コストはメリットと同じ期間に合わせてください。実装、計測、モデルプロバイダー費用、インフラ、人によるレビュー、およびメンテナンスを含めてください。

また、メリット間の重複がないか確認してください。同じサポート業務の回避を、人件費の節約と追加スタッフのキャパシティの両方としてカウントすると、リターンを過大評価することになります。

PendoのAIエージェントから学ぶ

PendoのAIプロダクトアシスタントであるLeoの改善における私たちの経験は、この測定プロセスがどのようにプロダクトの意思決定に役立つかを示しています。

Agent Analyticsを使用して、チームは 特定しました Leoが回答に苦労していた複雑な分析に関する質問をしている顧客を。チームはリクエストの頻度と種類を調査し、その結果をもとにLeoの定量的なツール機能の改善を優先しました。

リリースを拡大する前に、チームはユーザーベースの20%を代表するコホートで新しいツール機能をテストしました。そのコホートの問題発生率は67%低下しました。

また、過去60日間で週次リピート訪問者が61.3%増加しました。この広範なエンゲージメントの結果は、ツール機能の実験とは異なるスコープをカバーしています。

チームはプロダクトの意思決定を支持するエビデンスを持っていました。繰り返し発生する顧客の問題を把握し、変更がエクスペリエンスを改善したかどうかをテストしていたのです。財務的なROIを算出するには、上記で説明した追加のコストとベネフィットの分析が必要になります。

同じプロセスを自社の機能にも適用できます。問題を特定し、影響度に基づいて修正の優先順位を決め、ロールアウトを拡大する前に結果をテストしましょう。

エビデンスを活用して次のステップを決定する

推奨事項をビジネスケースに組み込みましょう。誰を測定したか、何を比較したか、結果がどのように変化したか、そしてその変化をもたらすためにかかったコストを説明してください。

顧客が意図した成果を達成し、その効果が投資を正当化できる場合は拡大しましょう。価値が見出せる場合は、より絞り込んだ対象にフィーチャーを集中させてください。結果が期待を下回る場合は、エビデンスをもとに、エクスペリエンスの改善、ユースケースの変更、または投資の停止を判断してください。

すべての財務的な前提条件が確定する前でも、有益な意思決定を行うことができます。観察した内容、モデル化した内容、まだ測定が必要な内容を具体的に示してください。それにより、プロダクト、エンジニアリング、財務の各チームが次の投資に向けた共通の基盤を持つことができます。

成果をより明確に把握する必要があるワークフローを1つ選んで始めましょう。

自社のAIエージェントのROI証明を始める準備はできていますか？ Pendo Agent Analyticsを試す でエージェントのインタラクションをユーザーおよびビジネスの成果に結び付けましょう。