Wenn Sie In-App-Guides für Onboarding, Feature-Ankündigungen oder Produktschulungen verwenden, haben Sie sich wahrscheinlich gefragt: Funktioniert das eigentlich?

Die meisten Teams verlassen sich auf Bauchgefühl. Vielleicht glauben Sie, dass eingebettete Guides besser abschneiden als Overlays. Oder dass Videoinhalte mehr Engagement erzeugen als Text. Aber ohne A/B-Tests raten Sie nur – Sie probieren einen Ansatz aus, warten wochenlang und versuchen dann einen anderen. Sie wissen nie wirklich, was den Ausschlag gegeben hat.

Pendo Guide Experiments ändert das. Es handelt sich um eine A/B-Testing-Funktion, die direkt in Pendo Guides integriert ist und es Ihnen ermöglicht, zwei Varianten gleichzeitig zu testen, die Konversion anhand eines bestimmten Ziels zu messen und statistische Konfidenzwerte dafür zu erhalten, welcher Ansatz tatsächlich Ergebnisse liefert.

Das Beste daran? Wenn Sie bereits Guides Pro haben, können Sie noch heute mit der Durchführung von Experimenten beginnen. Hier sind drei bewährte Methoden, um Guide Experiments zu nutzen, um zu validieren, was funktioniert, und Ihre Erfolge zu skalieren.

1. Guide-Formate und Botschaften testen, um die Funktionsnutzung zu fördern

Seien wir ehrlich: Die meisten von uns haben schon einmal einen Guide geschrieben, den wir für brillant hielten – nur um zuzusehen, wie er ignoriert wird. Sie haben Zeit damit verbracht, die perfekte Überschrift zu formulieren, die richtigen Farben auszuwählen und vielleicht sogar Animationen hinzuzufügen. Und dann... Stille.

Mit Guide-Experimenten können Sie aufhören zu raten und anfangen zu testen, was wirklich den Unterschied macht.

Hier ist ein Beispiel aus der Praxis: Ein Produktteam bewarb Schulungsveranstaltungen für Nutzer über In-Produkt-Guides. Sie hatten stets textbasierte Ankündigungen mit einem „Jetzt registrieren"-Call-to-Action verwendet. Das funktionierte ganz gut, aber sie fragten sich, ob sie es noch besser machen könntenbesser.

Also führten sie ein Experiment durch: Die Kontrollvariante war der standardmäßige textbasierte Guide, den sie immer verwendet hatten. Die Testvariante war identisch, enthielt jedoch einen 10-sekündigen Videoclip, der eine Vorschau der Veranstaltung zeigte, in der der Moderator erklärte, was er behandeln würde.

Das Ergebnis? Die Videovariante erzielte 18 % mehr Anmeldungen.

Durch das Testen einer einfachen Formatänderung entdeckten sie einen wiederholbaren Ansatz, den sie für Dutzende zukünftiger Veranstaltungen nutzen konnten. Das ist die Stärke von Experimenten: einmal herausfinden, was funktioniert, und es dann skalieren.

Mögliche Testideen:

  • Textlastige Guides vs. visuell geprägte Guides
  • Funktionsbeschreibungen vs. nutzenorientierte Botschaften

Der Schlüssel liegt darin, sich auf Ihr Conversion-Ziel zu konzentrieren. Testen Sie nicht einfach um des Testens willen. Fragen Sie sich: „Welches Nutzerverhalten möchte ich verändern?" Gestalten Sie dann Ihre Varianten rund um dieses spezifische Ergebnis.

So richten Sie es ein:

Wenn Sie Ihr Experiment in Pendo erstellen, testen Sie zwei Varianten (Variante A vs. Variante B oder ein Guide vs. kein Guide). Für das obige Beispiel:

  • Variante A: Textbasierter Guide mit „Jetzt registrieren"-CTA
  • Variante B: Derselbe Guide mit 10-sekündiger Videovorschau
  • Konversionsmetrik: Feature-Klick auf die Registrierungsschaltfläche
  • Attributionsfenster: 14 Tage 

Pendo verfolgt die Konversionsraten für jede Variante und bestätigt am Ende des Experimentzeitraums, welcher Guide besser abgeschnitten hat. Dann wird der Gewinner ermittelt und auf das gesamte Publikum ausgeweitet.

Dieser Ansatz eignet sich zum Testen jedes Guide-Elements: Überschriften, Button-Texte oder sogar eingebettete vs. Overlay-Darstellung. 

2. Onboarding-Änderungen mit kontrollierten Rollouts risikoarm gestalten

Hier ist ein Szenario, das Sie vielleicht kennen: Sie haben einen Onboarding-Leitfaden erstellt, den Sie für perfekt halten. Er wurde von Stakeholdern geprüft, rechtlich genehmigt und bis ins letzte Detail verfeinert. Sie sind bereit, ihn für alle Ihre Nutzer zu veröffentlichen.

Aber was, wenn es nicht funktioniert? Was, wenn Nutzer es ignorieren oder, schlimmer noch, als störend empfinden?

Mit Guide-Experimenten müssen Sie nicht alles auf eine Karte setzen. Sie können mit einem kontrollierten Rollout beginnen – zum Beispiel 10 % Ihrer Zielgruppe – und diesen schrittweise erhöhen, während Sie die Performance validieren.

Dieser Ansatz bewirkt zwei Dinge:

Erstens schützt er Ihre Nutzer vor einer möglicherweise schlechten Erfahrung. Wenn etwas nicht funktioniert, erkennen Sie es frühzeitig anhand einer kleinen Stichprobengröße, anstatt Ihre gesamte Nutzerbasis zu verärgern.

Zweitens liefert es Ihnen Argumente für interne Gespräche. Anstatt dass Stakeholder fragen: „Warum funktioniert der Leitfaden nicht besser?", können Sie sagen: „Wir haben drei Ansätze getestet, und dieser hat die Feature-Nutzung um 23 % gesteigert. Hier sind die Daten."

Dieser Wandel von „Wir glauben, dass das funktioniert" zu „Wir wissen, dass das funktioniert" verändert die Herangehensweise Ihrer Organisation an In-Produkt-Nachrichten. Sie wechseln von bauchgefühlbasierten Entscheidungen zu einer datengesteuerten Strategie.

So funktionieren kontrollierte Rollouts in Guide Experiments:

Dies ist eine der leistungsstärksten Funktionen in Pendo. Anstatt Ihr gesamtes Segment einem ungetesteten Guide auszusetzen, können Sie einen Rollout-Prozentsatz verwenden, um klein anzufangen:

  1. Erstellen Sie Ihr Experiment mit dem neuen Onboarding-Flow
  2. Setzen Sie Ihren anfänglichen Rollout auf 10 % Ihres Zielsegments
  3. Überwachen Sie Konversionsraten und Konfidenzwerte, während die Daten eingehen
  4. Erhöhen Sie den Rollout schrittweise (20 %, 50 %, 100 %), während Sie die Leistung validieren

Sie können den Rollout-Prozentsatz auch während das Experiment aktiv ist anpassen – ohne es stoppen und neu starten zu müssen. Das bedeutet, Sie können vorsichtig beginnen, frühe Signale validieren und skalieren mit Zuversicht.

Wenn Sie beispielsweise eine wesentliche Änderung an Ihrer Produkttour testen, könnten Sie diese 3 Tage lang bei 10 % ausführen, Ihren Konfidenzwert überprüfen und sie dann auf 50 % erhöhen, wenn die Ergebnisse positiv aussehen. Wenn Variante B keine gute Leistung erbringt, können Sie den Rollout reduzieren oder das Experiment frühzeitig abschließen, ohne Ihre gesamte Nutzerbasis einer suboptimalen Erfahrung auszusetzen.

3. Bauen Sie ein Lernsystem mit experimentbasierten Segmenten auf

Hier wird Guide Experiments wirklich interessant: Sie können Segmente basierend darauf erstellen, welche Variante Nutzer in einem Experiment gesehen haben. Das bedeutet, Sie testen nicht nur isoliert – Sie bauen eine Wissensbasis darüber auf, wie verschiedene Nutzergruppen auf unterschiedliche Messaging-Ansätze reagieren.

Angenommen, Sie führen ein Experiment durch, das funktionsorientierte Botschaften mit nutzenorientierten Botschaften vergleicht:

  • Variante A: „Unser neues Reporting-Tool ermöglicht es Ihnen, benutzerdefinierte Dashboards mit Drag-and-Drop-Widgets zu erstellen"
  • Variante B: „Sehen Sie genau das, was Sie brauchen, wenn Sie es brauchen – ohne auf jemanden zu warten, der Berichte erstellt"

Variante B gewinnt mit einer um 15 % höheren Konversionsrate und einem Konfidenzwert von 96 %. Großartig! Aber hören Sie hier nicht auf.

Segmente für die laufende Analyse erstellen:

Sobald das Experiment abgeschlossen ist, gehen Sie in Pendo zu „People > Segments" und erstellen Sie ein neues Segment mit „Guide Interactions > Experiment" als Filter. Sie können separate Segmente erstellen für:

  • Benutzer, die Variante A gesehen haben
  • Benutzer, die Variante B gesehen haben

Verfolgen Sie nun ihr Verhalten im Laufe der Zeit. Nutzen die Benutzer, die die nutzenorientierte Botschaft gesehen haben, die Berichtsfunktion weiterhin konsistenter? Erweitern sie ihre Nutzung auf verwandte Funktionen? Haben sie nach 30 Tagen höhere Bindungsraten?

Diese Längsschnittansicht hilft Ihnen zu verstehen, nicht nur was anfängliches Handeln antreibt, sondern was zu nachhaltigem Verhaltensänderungen führt. Über mehrere Experimente hinweg werden Sie Muster identifizieren:

  • „Nutzenorientierte Texte übertreffen konsequent Feature-Listen für unsere Persona X"
  • „Eingebettete Anleitungen funktionieren besser für komplexe Workflows; Overlays eignen sich für schnelle Tipps"
  • „Mobile Nutzer reagieren besser auf kürzere Texte als Web-Nutzer"

Diese Erkenntnisse werden zu Ihrem institutionellen Wissen – sie fließen nicht nur in zukünftige Anleitungen ein, sondern prägen Ihre gesamte Produktkommunikationsstrategie.

Wichtiger Hinweis: Segmente, die auf der Teilnahme an Experimenten basieren, können nicht für das Targeting von Guides verwendet werden (dies verhindert eine Verfälschung zukünftiger Experimente). Sie sind jedoch äußerst wertvoll für Analysen, Bindungsanalysen und das Verständnis langfristiger Nutzerverhaltensmuster.

Ihre Ergebnisse verstehen: Konfidenzwerte erklärt

Eines der leistungsstärksten Merkmale in Pendo Guide Experiments ist der Konfidenzwert. Dieser zeigt Ihnen, ob Ihre Ergebnisse statistisch signifikant oder lediglich zufälliges Rauschen sind.

So funktioniert es:

Wenn Ihr Experiment läuft, verfolgt Pendo die Konversionsraten für jede Variante und berechnet die Wahrscheinlichkeit, dass der beobachtete Unterschied real ist – und nicht nur dem Zufall geschuldet. Sobald Ihr Konfidenzwert 95 % oder höher erreicht, wird das Experiment als „Signifikant" markiert. Das bedeutet, dass Sie den Ergebnissen vertrauen können.

Was Sie sehen werden:

Angenommen, Sie testen zwei Onboarding-Guides:

  • Variante A: 100 Aufrufe, 15 Conversions = 15 % Conversion-Rate
  • Variante B: 100 Aufrufe, 22 Conversions = 22 % Conversion-Rate
  • Konfidenzwert: 92 %

Bei 92 % sind Sie nah dran, aber noch nicht ganz bei der 95-%-Schwelle. Möglicherweise sollten Sie das Experiment länger laufen lassen, um mehr Daten zu sammeln. Sobald Sie 95 %+ erreichen, wissen Sie, dass der Anstieg von 7 Prozentpunkten bei Variante B real ist, und können sie zuversichtlich für Ihr gesamtes Publikum freischalten.

Warum das wichtig ist:

Ohne Konfidenzwerte sehen Sie vielleicht, dass Variante B um 7 Punkte besser abschneidet, und nehmen an, dass sie die Gewinnerin ist. Bei kleinen Stichprobengrößen könnte dieser Unterschied jedoch leicht auf Zufall beruhen. Ein Konfidenzwert von 95 % gibt Ihnen statistische Sicherheit, dass Ihre Optimierung tatsächlich funktioniert – sodass Sie keine Änderungen auf Basis von Ausreißern einführen.

Sie können in Ihrer Experimentzusammenfassung mit der Maus über die Ergebnisse fahren, um den Konfidenzwert anzuzeigen, oder detaillierte Ergebnisse als CSV für eine tiefergehende Analyse exportieren.

Erste Schritte: Halten Sie es einfach

Wenn Sie neu bei Guide Experiments sind, fangen Sie einfach an. Hier ist ein bewährter Workflow für das erste Experiment:

Schritt 1: Wählen Sie einen Guide, den Sie bereits planen zu starten

Experimentieren Sie nicht mit etwas, das bereits funktioniert. Wählen Sie eine neue Funktionsankündigung, einen Onboarding-Flow oder eine Adoptionskampagne, die Sie gerade einführen möchten.

Schritt 2: Erstellen Sie eine aussagekräftige Variante

Testen Sie ein einzelnes Element: eingebettete vs. Overlay-Bereitstellung, Video vs. Text, kurze Überschrift vs. ausführliche Erklärung. Ändern Sie nicht mehrere Dinge gleichzeitig – sonst wissen Sie nicht, was den Unterschied ausgemacht hat.

Schritt 3: Legen Sie Ihre Konversionsmetrik fest

Wählen Sie die spezifische Aktion, die Benutzer ausführen sollen: einen Seitenaufruf (für Bekanntheit), einen Feature-Klick (für die Einführung) oder ein Track-Event (für abgeschlossene Workflows). Stellen Sie sicher, dass diese Kennzahl mit Ihrem tatsächlichen Geschäftsziel übereinstimmt.

Schritt 4: Experimenteinstellungen konfigurieren

  • Dauer: Beginnen Sie mit 2–3 Wochen für ausreichende Daten
  • Attributionsfenster: 7–14 Tage, abhängig von Ihren Nutzerverhaltensmuster
  • Zielgruppe: Sprechen Sie ein bestimmtes Segment an (neue Nutzer, bestimmte Rolle usw.)
  • Optionaler Rollout: Beginnen Sie mit 10–20 %, wenn Sie besorgt über das Risiko sind

Schritt 5: Laufen lassen und dann analysieren

Schauen Sie nicht zu früh nach. Warten Sie, bis Sie 95 % Konfidenz erreicht haben oder Ihre Laufzeit abgelaufen ist. Fragen Sie sich dann: „Was habe ich gelernt? Welche Muster kann ich auf andere Leitfäden anwenden?"

Das Ziel ist nicht, alles ständig zu testen. Es geht darum, ein systematisches Verständnis dafür zu entwickeln, was in *Ihrem* Produkt bei *Ihren* Nutzern Handlungen auslöst.

Das Schöne an Guide-Experimenten ist, dass sie Sie vom sequenziellen Testen – bei dem Sie eine Sache ausprobieren, warten und dann eine andere ausprobieren – zum simultanen Vergleich übergehen lassen. Sie fragen nicht mehr: „Hat das besser funktioniert als das, was wir letzten Monat hatten?" Sie fragen: „Welcher Ansatz funktioniert gerade jetzt besser, mit denselben Nutzern, unter denselben Bedingungen?"

Das ist eine viel bessere Frage. Und jetzt können Sie sie mit Daten beantworten.

Abschließende Gedanken

Das Ziel von Experimenten ist nicht, alles ständig zu testen. Es geht darum, ein systematisches Verständnis dafür zu entwickeln, was in Ihrem Produkt Handlungen auslöst. Jedes Experiment sollte Sie klüger über Ihre Nutzer machen und Ihr Vorgehen sicherer gestalten.

Beginnen Sie mit einem Experiment. Lernen Sie etwas. Wenden Sie es an. Wiederholen Sie es.

So bauen Sie eine datengesteuerte In-Product-Messaging-Strategie auf, die tatsächlich etwas bewirkt.

Bereit, mit dem Experimentieren zu beginnen? Guide-Experimente sind für alle Guides Pro-Kunden verfügbar. Lesen Sie die vollständige Dokumentation, um mehr zu erfahren.