Tu equipo ha creado un agente de IA, lo ha puesto frente a los usuarios y ha visto llegar las primeras solicitudes. Ahora necesitas entender si se está convirtiendo en parte de su trabajo.
¿Quién lo descubre? ¿Quién lo prueba una vez y vuelve cuando surge la siguiente tarea? ¿Dónde se atascan los usuarios? Y cuando el agente ayuda a alguien a terminar, ¿la mejora vale lo que cuesta entregarla?
Esas preguntas te brindan un marco práctico para medir la adopción de agentes de IA. Sigue el recorrido desde el descubrimiento hasta el trabajo completado, luego usa lo que aprendas para mejorar la experiencia y volver a medir el retorno.
Los equipos de producto necesitan comprender qué preguntan las personas, dónde se interrumpen las interacciones y qué sucede después. Con Pendo, los equipos pueden conectar las interacciones del agente con la experiencia de producto más amplia e identificar dónde los usuarios necesitan ayuda.
Define el trabajo que tu agente debe ayudar a las personas a realizar
Comienza con una tarea que tus usuarios objetivo reconozcan. Un asistente de informes podría ayudar a un administrador a crear y compartir un informe semanal. Nombra la tarea, la audiencia y el resultado que se considera éxito.
Para este asistente, el éxito podría significar un informe preciso guardado y compartido dentro de las 24 horas posteriores al inicio. Eso te da un resultado que seguir a lo largo de la conversación y del producto en sí.
Mantén separados a las personas, las tareas y las conversaciones. Una persona puede completar varias tareas, y una tarea puede abarcar varias conversaciones. Si mides las tareas completadas, usa un identificador de tarea coherente para que los intentos repetidos no inflen el recuento.
La frecuencia de la tarea también importa. Los informes semanales le dan a las personas una razón semanal para volver. Interpreta el uso continuo en el contexto de la frecuencia con la que los usuarios necesitan el agente.
Para los agentes en segundo plano o proactivos, comienza con el evento que desencadena la asistencia. Registra si el agente ofrece ayuda, si los usuarios la aceptan y si el trabajo se lleva a cabo.
Sigue el descubrimiento, el primer uso y el uso repetido
Comienza con tres preguntas: ¿las personas pueden encontrar el agente, lo prueban y regresan a usarlo? Estas métricas complementan los 10 KPIs esenciales para medir el rendimiento del agente de IA al mostrar cómo el agente se convierte en parte del trabajo de los usuarios.
Descubrimiento: ¿pueden los usuarios encontrar el agente donde lo necesitan? Usa Pendo Product Analytics para entender dónde comienza el trabajo relevante. En el caso del asistente de informes, podría ser la página de informes. Registra cuántos usuarios elegibles ven su punto de entrada y, luego, usa orientación dirigida para ayudar a más personas a encontrarlo. Que se le muestre una invitación a alguien no garantiza que la haya notado.
Primer uso: ¿los usuarios realizan una primera solicitud? Crea un embudo desde el punto de entrada del agente hasta una primera solicitud, usando un segmento de personas que no hayan usado el agente antes. Asegúrate de que esos eventos queden registrados. Si los usuarios abandonan el proceso, prueba con una invitación más clara o una tarea inicial sugerida.
Uso recurrente: ¿los usuarios regresan? La métrica de retención integrada de Agent Analytics mide el porcentaje de visitantes que enviaron indicaciones en al menos dos semanas distintas dentro del rango de fechas seleccionado, del total de visitantes que enviaron indicaciones durante ese período. Elige un período de informes que les dé a los usuarios una oportunidad significativa de regresar.
Analiza los casos de uso y las cuentas detrás del promedio. Pendo Agent Analytics te ayuda a explorar qué solicitan las personas y los problemas que encuentran. Usa esos hallazgos para investigar qué las hace volver y qué las desanima.
Mide el trabajo completado y los puntos donde las personas se rinden
Una vez que las personas estén usando el agente, verifica si logran completar la tarea que vinieron a realizar.
Considera un mes hipotético en el que los usuarios inician 600 tareas de generación de informes y completan 420 informes precisos, guardados y compartidos en un plazo de 24 horas. La tasa de finalización de tareas es del 70%. Cuenta todos los inicios de tareas, incluidos los intentos que fallan o se detienen, y permite que cada tarea tenga su ventana de finalización completa antes de generar el informe.
De Pendo las métricas de éxito personalizadas te permiten definir conversaciones exitosas. Las métricas de eventos rastrean si las conversaciones conducen a acciones de producto específicas; las métricas híbridas combinan reglas de éxito de conversación con esas acciones. Si necesitas una tasa de finalización de tareas en varias conversaciones, rastrea y deduplica las tareas por separado.
Mantén la calidad en la definición. Un informe compartido con datos incorrectos sigue requiriendo atención. Revisa una muestra del trabajo completado y considera el tiempo que los usuarios dedican a verificarlo o corregirlo.
Investiga las tareas incompletas para comprender si los usuarios encontraron un problema, necesitaron ayuda humana o terminaron en un lugar que tu seguimiento no pudo observar. Define cuándo consideras que una tarea fue abandonada y rastrea las transferencias a un agente humano por separado. El hecho de que una conversación quede en silencio no significa que alguien se haya rendido.
Usa los problemas del agente y las rutas de producto para entender dónde se detuvo el trabajo. Distingue las solicitudes no compatibles de los pasos siguientes confusos, y mantén visibles los resultados desconocidos para que los datos faltantes no inflen la tasa de éxito.
Usa Pendo para abordar el cuello de botella de adopción
Usa lo que aprendes para elegir la próxima mejora.
Si los usuarios tienen éxito después de probar el agente pero pocos lo descubren, ayuda a más personas a encontrarlo. Si lo ven y rara vez hacen una primera solicitud, explica lo que puede hacer. Si lo prueban y desaparecen, examina la experiencia de la primera tarea y si el agente respalda una tarea que necesitan repetir.
Pendo for Agents reúne Agent Analytics y Agent Toolkit. Agent Analytics te ayuda a comprender el uso, los problemas y los resultados. Agent Toolkit, disponible en beta abierta, brinda a los agentes contexto del producto y del usuario para que puedan ofrecer ayuda más relevante.
Para el asistente de informes, eso podría significar mostrar una guía de Pendo relevante cuando un usuario tiene dificultades para guardar un informe, basándose en lo que ya ha hecho. Configura las capacidades que necesita tu agente y luego mide si los usuarios completan la tarea con mayor frecuencia. Agent Toolkit y Agent Analytics tienen configuraciones independientes.
Tu equipo también puede investigar la adopción desde sus herramientas de IA existentes. Con Headless Pendo, un PM puede preguntar directamente en Claude sobre casos de uso y problemas del agente, y luego incorporar el uso del producto y los comentarios a la investigación.
A partir de ahí, guarda una audiencia afectada y redacta una guía en la aplicación para el flujo de trabajo de informes. Una persona revisa y activa la guía. Luego, verifica si más usuarios tienen éxito y si el cambio valió el esfuerzo.
El trabajo útil de un agente puede abarcar conversaciones, herramientas conectadas y la interfaz del producto. Incluye esas experiencias al evaluar la adopción para poder seguir el trabajo hasta su resultado.
Haz que la comparación sea justa
Compara usuarios similares que realizan trabajo similar durante períodos comparables, usando los mismos estándares de éxito y calidad. Dale a los usuarios suficiente tiempo para terminar y considera otros cambios que podrían afectar los resultados. Una mayor tasa de finalización entre los usuarios del agente muestra una asociación; un lanzamiento aleatorizado o una comparación controlada cuidadosamente diseñada pueden ayudar a aislar la contribución del agente. Incluye a las personas que tienen acceso asignado pero que nunca lo usan.
Los experimentos de Agent Analytics permiten a los equipos comparar configuraciones, modelos, herramientas y otros grupos. Lo que puedes atribuir a un cambio depende de cómo se asignan los participantes y las condiciones que se comparan.
Conecta la adopción exitosa al ROI y luego mejórala
Para un asistente de informes interno, el tiempo ahorrado es una forma de estimar el valor. Compara el esfuerzo total requerido con y sin el agente, incluyendo la revisión y el retrabajo.
Supongamos que las 420 tareas completadas en nuestro mes hipotético ahorran cada una cinco minutos en comparación con el mismo trabajo sin el agente. Eso suma 35 horas. Con un costo laboral totalmente cargado asumido de $60 por hora, el valor estimado del tiempo ahorrado es de $2,100.
Si el costo total asignado del agente para ese mes es $1,400, el valor neto estimado es $700. Divide $700 entre $1,400 para obtener un ROI modelado del 50%.
Incluye en el costo la implementación, los cargos de modelo e infraestructura, el mantenimiento, la evaluación y la supervisión humana. Este ejemplo asume tasas de finalización y calidad comparables, sin esfuerzo adicional en tareas incompletas. Ten en cuenta esas diferencias si cambian.
El tiempo ahorrado genera capacidad; se convierte en ahorro de dinero cuando cambia el gasto. Para un agente orientado al cliente, establece cómo los mejores resultados para el cliente benefician a tu negocio antes de asignar un valor financiero. Usa los costos operativos reales y evita contar el mismo trabajo dos veces. Nuestra guía sobre cómo los creadores de productos pueden demostrar el ROI de la IA profundiza en ese caso de negocio.
Después de cada cambio, verifica si más usuarios completan la tarea, si la calidad se mantiene y si el beneficio justifica el costo. Repite la comparación usando los mismos estándares y los costos completos.
Comienza con un agente y una mejora
Elige una tarea que tu agente debería facilitar. Define quién puede usarlo, cómo lo descubren, cómo se ve el trabajo exitoso y cuándo deberían tener un motivo para volver.
Encuentra dónde se estanca la adopción, usa Pendo para comprender y mejorar esa experiencia, y mide el resultado frente al costo total. Tendrás una base más clara para expandir un caso de uso exitoso, mejorar uno débil o enfocar la inversión donde el agente genera más valor.
Explorar Pendo for Agents para conectar la adopción del agente, el contexto del producto y los resultados que te ayudan a decidir qué hacer a continuación.
