Si estás ejecutando guías en la aplicación para la incorporación, anuncios de funciones o educación sobre el producto, probablemente te hayas preguntado: ¿Esto realmente funciona?
La mayoría de los equipos se basan en corazonadas. Quizás crees que las guías integradas funcionan mejor que las superposiciones. O que el contenido en video genera más participación que el texto. Pero sin pruebas A/B, estás adivinando: pruebas un enfoque, esperas semanas y luego pruebas otro. Nunca sabes realmente qué fue lo que marcó la diferencia.
Pendo Guide Experiments cambia esto. Es una capacidad de pruebas A/B integrada directamente en Pendo Guides que te permite probar dos variantes simultáneamente, medir la conversión frente a un objetivo específico y obtener puntuaciones de confianza estadística sobre qué enfoque realmente impulsa los resultados.
¿La mejor parte? Si ya tienes Guides Pro, puedes comenzar a ejecutar experimentos hoy mismo. Aquí hay tres formas comprobadas de usar Guide Experiments para validar lo que funciona y escalar tus victorias.
1. Prueba formatos de guías y mensajes para impulsar la adopción de funciones
Seamos honestos: la mayoría de nosotros hemos creado una guía que creíamos brillante, solo para verla ignorada. Pasaste tiempo elaborando el titular perfecto, eligiendo los colores correctos, quizás incluso añadiendo algunas animaciones. Y luego... silencio total.
Con los experimentos de Guide, puedes dejar de adivinar y comenzar a probar qué es lo que realmente mueve la aguja.
Aquí hay un ejemplo del mundo real: Un equipo de producto estaba promoviendo eventos de educación para usuarios a través de guías dentro del producto. Siempre habían utilizado anuncios basados en texto con una llamada a la acción de "Regístrate ahora". Funcionaba bien, pero se preguntaban si podían hacer mejor.
Así que realizaron un experimento: la variante de control era la guía estándar basada en texto que siempre habían utilizado. La variante de prueba era idéntica, excepto que incluía un clip de video de 10 segundos que mostraba una vista previa del evento con el presentador explicando lo que cubriría.
¿El resultado? La variante con video generó un 18% más de registros.
Al probar un simple cambio de formato, descubrieron un enfoque repetible que podían usar en docenas de eventos futuros. Ese es el poder de los experimentos: encontrar lo que funciona una vez y luego escalarlo.
Ideas de prueba potenciales:
- Guías centradas en texto vs. guías con mucho contenido visual
- Descripciones de características vs. mensajes orientados a beneficios
La clave es enfocarse en tu objetivo de conversión. No hagas pruebas solo por hacerlas. Pregúntate: "¿Qué comportamiento del usuario estoy intentando cambiar?" Luego diseña tus variantes en torno a ese resultado específico.
Cómo configurarlo:
Cuando creas tu experimento en Pendo, probarás dos variantes (Variante A vs. Variante B, o una guía vs. ninguna guía). Para el ejemplo anterior:
- Variante A: Guía basada en texto con CTA "Regístrate ahora"
- Variante B: La misma guía con una vista previa de video de 10 segundos
- Métrica de conversión: Clic en la función del botón de registro
- Ventana de atribución: 14 días
Pendo realiza un seguimiento de las tasas de conversión de cada variante y confirma qué guía tuvo un mejor rendimiento al final del período del experimento. En ese momento, se promueve al ganador y se escala a toda la audiencia.
Este enfoque funciona para probar cualquier elemento de guía: títulos, texto de botones o incluso la entrega integrada frente a la superpuesta.
2. Reduzca el riesgo de los cambios de incorporación con lanzamientos controlados
Este es un escenario que quizás reconozca: ha creado lo que cree que es la guía de incorporación perfecta. Ha sido revisada por las partes interesadas, aprobada por el equipo legal y pulida a la perfección. Está listo para lanzarla a todos sus usuarios.
¿Pero qué pasa si no funciona? ¿Qué pasa si los usuarios lo ignoran o, peor aún, lo encuentran molesto?
Con los experimentos de Guide, no tienes que apostar todo o nada. Puedes comenzar con un lanzamiento controlado, digamos, el 10% de tu audiencia objetivo, e irlo aumentando gradualmente a medida que validas el rendimiento.
Este enfoque hace dos cosas:
Primero, protege a tus usuarios de una experiencia potencialmente negativa. Si algo no funciona, lo detectas a tiempo con una muestra pequeña en lugar de molestar a toda tu base de usuarios.
En segundo lugar, te da argumentos para las conversaciones internas. En lugar de que los stakeholders pregunten: "¿Por qué la guía no está funcionando mejor?", puedes decir: "Probamos tres enfoques y este impulsó un 23% más de adopción de funciones. Aquí están los datos."
Ese cambio de "creemos que esto funciona" a "sabemos que esto funciona" transforma la manera en que tu organización aborda la mensajería dentro del producto. Pasas de decisiones basadas en intuición a una estrategia basada en datos.
Cómo funcionan los lanzamientos controlados en Guide Experiments:
Esta es una de las funciones más poderosas de Pendo. En lugar de exponer todo tu segmento a una guía sin probar, puedes usar un porcentaje de lanzamiento para comenzar de forma gradual:
- Crea tu experimento con el nuevo flujo de incorporación
- Establece tu lanzamiento inicial al 10% de tu segmento objetivo
- Monitorea las tasas de conversión y las puntuaciones de confianza a medida que llegan los datos
- Aumenta gradualmente el despliegue (20%, 50%, 100%) a medida que validas el rendimiento
Puedes ajustar el porcentaje de implementación incluso mientras el experimento está activo, sin necesidad de detenerlo y reiniciarlo. Esto significa que puedes comenzar con cautela, validar señales tempranas y escalar con confianza.
Por ejemplo, si estás probando un cambio importante en el recorrido de tu producto, podrías ejecutarlo al 10% durante 3 días, verificar tu puntuación de confianza y luego aumentarlo al 50% si los resultados parecen positivos. Si la Variante B no está rindiendo bien, puedes reducir el despliegue o completar el experimento antes de tiempo sin exponer a toda tu base de usuarios a una experiencia subóptima.
3. Construye un sistema de aprendizaje con segmentos basados en experimentos
Aquí es donde Guide Experiments se vuelve realmente interesante: puedes crear segmentos basados en qué variante vieron los usuarios en un experimento. Eso significa que no solo estás probando de forma aislada, sino que estás construyendo una base de conocimiento sobre cómo diferentes grupos de usuarios responden a diferentes enfoques de mensajería.
Supongamos que ejecutas un experimento comparando mensajes centrados en características vs. mensajes centrados en beneficios:
- Variante A: "Nuestro nuevo motor de informes te permite crear paneles personalizados con widgets de arrastrar y soltar"
- Variante B: "Ve exactamente lo que necesitas, cuando lo necesitas, sin esperar a que alguien más genere los informes"
La variante B gana con una tasa de conversión un 15% más alta y una puntuación de confianza del 96%. ¡Excelente! Pero no te detengas ahí.
Crea segmentos para un análisis continuo:
Una vez que el experimento finalice, ve a Personas > Segmentos en Pendo y crea un nuevo segmento usando "Interacciones de guía > Experimento" como filtro. Puedes crear segmentos separados para:
- Usuarios que vieron la Variante A
- Usuarios que vieron la Variante B
Ahora rastrea su comportamiento a lo largo del tiempo. ¿Los usuarios que vieron el mensaje enfocado en los beneficios continúan usando la función de informes de manera más consistente? ¿Se expanden a funciones relacionadas? ¿Tienen tasas de retención más altas después de 30 días?
Esta vista longitudinal te ayuda a entender no solo qué impulsa la acción inicial, sino qué lleva a un cambio de comportamiento sostenido. A lo largo de múltiples experimentos, identificarás patrones:
- "El copy orientado a beneficios supera consistentemente a las listas de características para nuestra persona X"
- "Las guías integradas funcionan mejor para flujos de trabajo complejos; las superposiciones funcionan para consejos rápidos"
- "Los usuarios móviles responden mejor a textos más cortos que los usuarios de escritorio"
Estos aprendizajes se convierten en el conocimiento institucional de tu organización, e informan no solo las guías futuras, sino toda tu estrategia de comunicación del producto.
Nota importante: Los segmentos basados en la participación en experimentos no se pueden usar para la segmentación de guías (esto evita contaminar futuros experimentos). Pero son increíblemente valiosos para el análisis, el análisis de retención y la comprensión de los patrones de comportamiento de los usuarios a largo plazo.
Cómo interpretar tus resultados: explicación de las puntuaciones de confianza
Una de las características más poderosas de Pendo Guide Experiments es la puntuación de confianza. Esto te indica si tus resultados son estadísticamente significativos o simplemente ruido aleatorio.
Así es como funciona:
Cuando tu experimento se ejecuta, Pendo realiza un seguimiento de las tasas de conversión de cada variante y calcula la probabilidad de que la diferencia observada sea real, no solo producto del azar. Una vez que tu puntuación de confianza alcanza el 95% o más, el experimento se marca como "Significativo". Esto significa que puedes confiar en los resultados.
Lo que verás:
Supongamos que estás probando dos guías de incorporación:
- Variante A: 100 vistas, 15 conversiones = 15% de tasa de conversión
- Variante B: 100 vistas, 22 conversiones = 22% de tasa de conversión
- Puntuación de confianza: 92%
Con un 92%, estás cerca pero no del todo en el umbral del 95%. Podrías dejar que el experimento se ejecute más tiempo para recopilar más datos. Una vez que alcances el 95%+, sabrás que el aumento de 7 puntos porcentuales de la Variante B es real y podrás promoverla con confianza a toda tu audiencia.
Por qué esto importa:
Sin puntuaciones de confianza, podrías ver que la Variante B tiene un rendimiento 7 puntos mejor y asumir que es la ganadora. Pero con muestras pequeñas, esa diferencia podría ser fácilmente producto del azar. Una puntuación de confianza del 95% te brinda certeza estadística de que tu optimización realmente funciona, para que no implementes cambios basados en resultados fortuitos.
Puedes pasar el cursor sobre los resultados en el resumen de tu experimento para ver la puntuación de confianza, o exportar los resultados detallados como un CSV para un análisis más profundo.
Primeros pasos: mantenlo simple
Si eres nuevo en los Experimentos de Guías, comienza de forma sencilla. Aquí tienes un flujo de trabajo probado para el primer experimento:
Paso 1: Elige una guía que ya estás planeando lanzar
No experimentes con algo que ya está funcionando. Elige un anuncio de nueva función, un flujo de incorporación o una campaña de adopción que estés a punto de lanzar.
Paso 2: Crea una variación significativa
Prueba un solo elemento: entrega integrada vs. superpuesta, video vs. texto, titular corto vs. explicación detallada. No cambies varias cosas a la vez; no sabrás qué generó la diferencia.
Paso 3: Define tu métrica de conversión
Elige la acción específica que deseas que realicen los usuarios: una vista de página (para generar conciencia), un clic en una función (para la adopción) o un evento de seguimiento (para flujos de trabajo completados). Asegúrate de que esta métrica esté alineada con tu objetivo de negocio real.
Paso 4: Configura los ajustes de tu experimento
- Duración: Comienza con 2-3 semanas para obtener datos suficientes
- Ventana de atribución: 7-14 días según los patrones de comportamiento de tus usuarios
- Audiencia: Apunta a un segmento específico (nuevos usuarios, rol específico, etc.)
- Implementación opcional: Comienza con el 10-20% si te preocupa el riesgo
Paso 5: Déjalo correr y luego analiza
No mires los resultados demasiado pronto. Espera hasta alcanzar un 95% de confianza o hasta que expire tu período de duración. Luego pregúntate: "¿Qué aprendí? ¿Qué patrones puedo aplicar a otras guías?"
El objetivo no es probar todo todo el tiempo. Es desarrollar una comprensión sistemática de qué impulsa la acción en *tu* producto con *tus* usuarios.
La belleza de Guide Experiments es que te lleva del testing secuencial —donde pruebas una cosa, esperas y luego pruebas otra— a la comparación simultánea. Ya no te preguntas: "¿Esto funcionó mejor que lo que teníamos el mes pasado?" Ahora te preguntas: "¿Qué enfoque funciona mejor ahora mismo, con los mismos usuarios, en las mismas condiciones?"
Esa es una pregunta mucho mejor. Y ahora puedes responderla con datos.
Reflexiones finales
El objetivo de la experimentación no es probar todo en todo momento. Es desarrollar una comprensión sistemática de lo que impulsa la acción en tu producto. Cada experimento debería hacerte más inteligente sobre tus usuarios y más seguro en tu enfoque.
Comienza con un experimento. Aprende algo. Aplícalo. Repite.
Así es como construyes una estrategia de mensajería dentro del producto basada en datos que realmente mueve la aguja.
¿Listo para comenzar a experimentar? Los experimentos de guías están disponibles para todos los clientes de Guides Pro. Consulta la documentación completa para obtener más información.
