オンボーディング、機能のお知らせ、またはプロダクト教育のためにアプリ内ガイドを運用しているなら、こんな疑問を持ったことがあるはずです：これは本当に効果があるのか？
ほとんどのチームは勘に頼っています。埋め込みガイドがオーバーレイよりも効果的だと思っているかもしれません。あるいは、動画コンテンツがテキストよりもエンゲージメントを高めると考えているかもしれません。しかし、A/Bテストなしでは、あなたは推測しているにすぎません。一つのアプローチを試し、数週間待ち、また別のアプローチを試す。何が効果をもたらしたのか、本当のところはわからないのです。
Pendo Guide Experimentsはこの状況を変えます。これはPendo Guidesに直接組み込まれたA/Bテスト機能であり、2つのバリアントを同時にテストし、特定の目標に対するコンバージョンを測定し、どのアプローチが実際に成果をもたらすかについて統計的信頼スコアを取得することができます。
最も嬉しいのは、すでにGuides Proをお持ちであれば、今日からすぐに実験を始められることです。ガイド実験を活用して効果を検証し、成果を拡大するための3つの実証済みの方法をご紹介します。
1. ガイドのフォーマットとメッセージをテストして機能の採用を促進する
正直に言いましょう。私たちのほとんどは、素晴らしいと思ったガイドを作成したのに、誰にも見てもらえなかった経験があるはずです。完璧な見出しを考え、適切な色を選び、アニメーションまで追加したのに……結果は無反応。
ガイド実験を使えば、推測をやめて、実際に効果があるものをテストし始めることができます。
実際の例を挙げましょう：あるプロダクトチームが、製品内ガイドを通じてユーザー教育イベントを告知していました。彼らはこれまで常に「今すぐ登録」というコール・トゥ・アクションを含むテキストベースのお知らせを使用していました。それなりに効果はありましたが、もっとうまくできないかと考えていました。より良くなりました。
そこで彼らは実験を行いました。コントロールバリアントは、これまで使用してきた標準的なテキストベースのガイドでした。テストバリアントは同一でしたが、プレゼンターが内容を説明しながらイベントのプレビューを映した10秒の動画クリップが含まれていた点が異なりました。
結果は？動画バリアントは登録数を18%増加させました。
シンプルなフォーマット変更をテストすることで、今後数十のイベントに活用できる再現性のあるアプローチを発見しました。これが実験の力です。一度うまくいく方法を見つけたら、それをスケールさせることができます。
テストアイデアの候補：
- テキスト中心のガイド vs. ビジュアル重視のガイド
- 機能の説明 vs. ベネフィット訴求型のメッセージング
重要なのは、コンバージョン目標に集中することです。ただテストのためにテストするのではなく、「どのユーザー行動を変えようとしているのか？」と自問してください。そして、その具体的な成果に向けてバリアントを設計しましょう。
設定方法：
Pendoで実験を作成する際、2つのバリアント（バリアントAとバリアントB、またはガイドありとガイドなし）をテストします。上記の例では：
- バリアントA：「今すぐ登録」CTAを含むテキストベースのガイド
- バリアントB：10秒間の動画プレビューを含む同じガイド
- コンバージョン指標：登録ボタンのフィーチャークリック
- アトリビューションウィンドウ：14日間
Pendoは各バリアントのコンバージョン率を追跡し、実験期間終了時にどちらのガイドが優れたパフォーマンスを発揮したかを確認します。その時点で勝者を選定し、全ユーザーに展開します。
このアプローチは、見出し、ボタンのコピー、埋め込み型とオーバーレイ型の配信方法など、あらゆるガイド要素のテストに活用できます。
2. 段階的なロールアウトでオンボーディング変更のリスクを軽減する
こんなシナリオに心当たりはないでしょうか。完璧だと思えるオンボーディングガイドを作り上げた。ステークホルダーのレビューを経て、法務の承認を受け、細部まで磨き上げた。あとは全ユーザーに公開するだけ、という状況です。
しかし、うまくいかなかったら？ユーザーに無視されたり、さらに悪いことに、煩わしいと感じられたりしたら？
ガイド実験を使えば、そのような二択の賭けをする必要はありません。対象ユーザーの10%など、少数へのコントロールされたロールアウトから始め、パフォーマンスを検証しながら徐々に拡大していくことができます。
このアプローチには2つの効果があります：
まず、ユーザーを潜在的に悪いエクスペリエンスから守ります。何かが機能していない場合、ユーザーベース全体を煩わせる前に、少ないサンプルサイズで早期に問題を発見できます。
第二に、社内での会話における根拠となります。ステークホルダーから「なぜガイドのパフォーマンスが上がらないのか？」と問われた際に、「3つのアプローチをテストした結果、このアプローチが機能の採用率を23%向上させました。こちらがそのデータです。」と答えることができます。
「これは機能すると思う」から「これは機能すると分かっている」へのシフトは、組織がプロダクト内メッセージングに取り組む方法を変えます。直感的な判断からデータドリブンな戦略へと移行できます。
ガイド実験におけるコントロールロールアウトの仕組み：
これはPendoの最も強力な機能の一つです。テストされていないガイドにセグメント全体を公開する代わりに、ロールアウト率を使用して小規模から始めることができます：
- 新しいオンボーディングフローで実験を作成する
- ターゲットセグメントの10%に初期ロールアウトを設定する
- データが入ってくるにつれてコンバージョン率と信頼スコアを監視する
- パフォーマンスを検証しながら段階的にロールアウトを拡大する（20%、50%、100%）
実験がアクティブな状態でも、ロールアウトの割合を調整できます。停止して再起動する必要はありません。つまり、慎重にスタートし、早期シグナルを検証し、自信を持ってスケールアップすることができます。
たとえば、プロダクトツアーに大きな変更を加えてテストする場合、まず10%のユーザーに3日間表示し、信頼スコアを確認してから、結果が良好であれば50%に引き上げることができます。バリアントBのパフォーマンスが芳しくない場合は、ロールアウトを縮小するか、全ユーザーベースに最適でないエクスペリエンスを提供することなく、実験を早期に終了することができます。
3. 実験ベースのセグメントで学習システムを構築する
ここでガイド実験が本当に興味深くなります。実験でユーザーがどのバリアントを見たかに基づいてセグメントを作成できます。つまり、単独でテストするだけでなく、異なるユーザーグループがさまざまなメッセージングアプローチにどのように反応するかについての知識ベースを構築しているのです。
例えば、機能に焦点を当てたメッセージングとベネフィットに焦点を当てたメッセージングを比較する実験を実施するとします：
- バリアントA：「新しいレポートエンジンにより、ドラッグ＆ドロップウィジェットでカスタムダッシュボードを作成できます」
- バリアント B：「必要なときに必要なものを正確に確認できる—他の誰かがレポートを作成するのを待つ必要はない」
バリアント B は、コンバージョン率が 15% 高く、信頼スコアが 96% で勝利しました。素晴らしい！しかし、そこで止まらないでください。
継続的な分析のためのセグメントを作成する：
実験が完了したら、Pendoで「People > Segments」に移動し、フィルターとして「Guide Interactions > Experiment」を使用して新しいセグメントを作成します。以下のように個別のセグメントを作成できます：
- バリアントAを見たユーザー
- バリアントBを見たユーザー
次に、時間の経過とともにユーザーの行動を追跡します。メリットに焦点を当てたメッセージを見たユーザーは、レポート機能をより継続的に使用し続けているでしょうか？関連機能へと利用を広げているでしょうか？30日後の継続率は高いでしょうか？
この縦断的なビューは、最初のアクションを促す要因だけでなく、継続的な行動変容につながる要因を理解するのに役立ちます。複数の実験を通じて、次のようなパターンを特定できます：
- 「ベネフィット訴求のコピーは、ペルソナXに対して機能リストよりも一貫して高いパフォーマンスを発揮する」
- 「埋め込みガイドは複雑なワークフローに適しており、オーバーレイはクイックヒントに向いている」
- 「モバイルユーザーはWebユーザーよりも短いコピーに反応する」
これらの学びは組織の知識となり、将来のガイドだけでなく、製品コミュニケーション戦略全体に活かされます。
重要な注意事項：実験への参加に基づくセグメントは、ガイドのターゲティングには使用できません（これにより、将来の実験への汚染を防ぎます）。ただし、アナリティクス、リテンション分析、および長期的なユーザー行動パターンの把握には非常に有用です。
結果を理解する：信頼スコアの説明
Pendo ガイド実験の最も強力な機能の一つが信頼スコアです。これにより、結果が統計的に有意なものか、単なるランダムなノイズかを判断できます。
仕組みは次のとおりです：
実験が実行されると、Pendoは各バリアントのコンバージョン率を追跡し、観測された差異が偶然ではなく実際のものである確率を計算します。信頼スコアが95%以上に達すると、実験は「有意」としてフラグが立てられます。これは、結果を信頼できることを意味します。
表示例：
2つのオンボーディングガイドをテストしているとします：
- バリアントA：100回表示、15回コンバージョン＝コンバージョン率15%
- バリアントB：100回表示、22回コンバージョン＝コンバージョン率22%
- 信頼スコア：92%
92%では、95%の閾値に近いものの、まだ達していません。より多くのデータを収集するために、実験をもう少し長く続けることをお勧めします。95%以上に達した時点で、バリアントBの7パーセントポイントの改善が実際のものであることが確認でき、自信を持って全ユーザーに展開することができます。
これが重要な理由：
信頼スコアがなければ、バリアントBが7ポイント優れているのを見て勝者だと判断してしまうかもしれません。しかし、サンプルサイズが小さい場合、その差は偶然によるものである可能性があります。95%の信頼スコアは、最適化が実際に機能しているという統計的な確実性を提供します。つまり、偶然の結果に基づいて変更をリリースすることがなくなります。
実験のサマリーで結果にカーソルを合わせると信頼スコアを確認できます。また、詳細な分析のために詳細結果をCSVとしてエクスポートすることもできます。
はじめに：シンプルに始めましょう
ガイド実験を初めて使用する場合は、シンプルに始めましょう。以下は実績のある最初の実験ワークフローです：
ステップ1：すでに公開を予定しているガイドを選ぶ
すでに機能しているもので実験しないでください。これから公開しようとしている新機能のアナウンス、オンボーディングフロー、または導入キャンペーンを選びましょう。
ステップ2：意味のあるバリエーションを1つ作成する
単一の要素をテストしましょう：埋め込み型とオーバーレイ型の配信、動画とテキスト、短いヘッドラインと詳細な説明。複数の要素を同時に変更しないでください。何が違いをもたらしたのかがわからなくなります。
ステップ3：コンバージョン指標を設定する
ユーザーに取ってほしい具体的なアクションを選択します：ページビュー（認知向上のため）、機能クリック（導入促進のため）、またはトラックイベント（完了したワークフローのため）。このメトリクスが実際のビジネス目標と一致していることを確認してください。
ステップ4：実験設定を構成する
- 期間: 十分なデータを得るために2〜3週間から始める
- アトリビューションウィンドウ: ユーザーの行動パターンに応じて7〜14日
- オーディエンス: 特定のセグメントをターゲットにする（新規ユーザー、特定のロールなど）
- オプションのロールアウト: リスクが心配な場合は10〜20%から始めましょう
ステップ5: 実行して分析する
早まって確認しないでください。95%の信頼度に達するか、期間が終了するまで待ちましょう。その後、「何を学んだか？他のガイドに応用できるパターンは何か？」と自問してください。
目標は、常にすべてをテストすることではありません。*あなたの*プロダクトで、*あなたの*ユーザーにおいて、何が行動を促すかを体系的に理解することです。
Guide Experimentsの優れた点は、逐次テスト（一つのことを試して待ち、次に別のことを試す）から同時比較へと移行できることです。「先月の方法よりも効果があったか？」と問うのではなく、「同じユーザーで、同じ条件のもと、今この瞬間にどちらのアプローチがより効果的か？」と問うことができるのです。
それははるかに良い質問です。そして今、あなたはデータでそれに答えることができます。
最後に
実験の目的は、常にすべてをテストすることではありません。製品においてアクションを促進するものを体系的に理解することです。すべての実験は、ユーザーについての理解を深め、アプローチへの自信を高めるものでなければなりません。
まず1つの実験から始めましょう。何かを学び、それを活かし、繰り返す。
それが、実際に成果を生み出すデータドリブンなプロダクト内メッセージング戦略を構築する方法です。
実験を始める準備はできていますか？ガイド実験は、すべてのGuides Proのお客様にご利用いただけます。詳細については、完全なドキュメントをご覧ください。
