Después de semanas de crear y probar un asistente de IA, es un alivio ver que los clientes comienzan a usarlo. Luego llega el momento en que tienes que explicar si el tiempo y el dinero valieron la pena.
Los equipos de producto tienen buenas razones para prepararse para esa conversación. Según una reciente encuesta de KPMG, el 49% de las organizaciones reportó retrasar o reducir el alcance de las implementaciones de agentes de IA cuando los costos comenzaron a superar los beneficios.
Obtener una respuesta clara sobre el ROI puede ser sorprendentemente difícil. Tu asistente podría recibir más consultas mientras los usuarios siguen abandonando la configuración. A los clientes les pueden gustar sus respuestas, pero dedicar tiempo extra a verificarlas. Incluso las cifras de participación alentadoras te dejan trabajo por hacer antes de poder asignarle un valor monetario a la mejora.
Para demostrar el ROI de la IA, comienza con una tarea que tus usuarios necesiten completar. Mide si la función de IA les ayuda a tener éxito, compara el resultado con la experiencia actual y conecta la mejora con un beneficio al que puedas asignarle un valor. Incluye el costo total de desarrollar y operar la función.
Eso te da un caso de negocio que puedes explicar y una base para decidir qué desarrollar a continuación.
Comienza con la tarea del usuario
Elige una tarea que tu función de IA debería mejorar. Ayudar a un nuevo administrador a completar la configuración del espacio de trabajo te da algo concreto que medir: una persona con una tarea específica, una secuencia de acciones y un resultado claro.
Define el éxito antes de evaluar la función. Para la configuración, eso podría significar completar la configuración requerida en un plazo de siete días, sin errores que requieran soporte.
Luego identifica quiénes tienen la oportunidad de usar el asistente. Si solo está disponible para los administradores que inician la configuración, mide la adopción dentro de ese grupo. Usar todos los clientes activos como denominador ocultaría qué tan bien estás llegando al público objetivo.
Haz seguimiento de todos los que inician el flujo de trabajo, incluidas las personas que lo abandonan, encuentran un error o nunca abren el asistente. Necesitarás esas experiencias para entender si la función mejora la configuración en general.
Mantén la calidad junto con la finalización desde el principio. Un proceso de configuración más rápido genera poco valor si los clientes tienen que volver al día siguiente para corregir su configuración.
Establece una línea base creíble
Compara el flujo de trabajo de IA con la experiencia que los clientes utilizarían de otro modo. Podría ser tu interfaz actual, un proceso asistido por soporte o una versión del flujo de trabajo sin el asistente.
Usa la misma definición de tarea y el mismo período de medición para ambos grupos. Ten en cuenta las diferencias en la experiencia del cliente, el tamaño de la cuenta y el acceso a la ayuda. Un lanzamiento que coincida con un flujo de incorporación rediseñado requerirá especial cuidado para distinguir los efectos.
Un experimento aleatorizado puede ayudarte a atribuir una mejora a la función de IA. Elige cómo asignar a los participantes según cómo trabajan. Si los administradores de una misma cuenta comparten responsabilidades de configuración, asignar cuentas completas puede darte una comparación más clara que asignar individuos.
También puedes aprender de cohortes comparables o de un análisis antes y después. Sé claro sobre los límites. Los clientes que eligen usar un asistente pueden estar ya más motivados o más familiarizados con tu producto. Ten en cuenta esas diferencias antes de atribuir una tasa de finalización más alta al asistente.
Mide el uso junto con el éxito de las tareas
La adopción te ayuda a entender si los clientes están probando la función. Para evaluar su valor, haz un seguimiento de lo que ocurre después de que la prueban.
Para un asistente de incorporación, un plan de medición útil podría verse así:
| Medida | Definición | Qué examinar |
|---|---|---|
| Adopción | Usuarios elegibles que usan el asistente ÷ todos los usuarios elegibles | Si estás llegando a la audiencia prevista |
| Finalización de tareas | Usuarios que completan la configuración ÷ usuarios que la inician, dentro de un período definido | Si más clientes completan el flujo de trabajo |
| Calidad | Interacciones registradas con un problema definido ÷ todas las interacciones registradas en el alcance | Dónde los usuarios encuentran errores o respuestas no admitidas |
| Tiempo hasta el éxito | Tiempo desde el inicio de la configuración hasta la finalización verificada | Si los clientes terminan antes, junto con las tasas de finalización y abandono |
| Uso repetido | Usuarios que regresan a la tarea o producto correspondiente dentro de un período definido | Si la experiencia favorece el uso continuo |
| Costo | Costos de desarrollo y operación asignados al período de medición | Lo que gastas para entregar el beneficio |
Interpreta la interacción en el contexto de la tarea. Un asistente que ayuda a alguien a completar la configuración en dos intercambios puede estar funcionando mejor que uno que necesita diez. Más indicaciones podrían reflejar un interés creciente, intentos fallidos repetidos o una tarea más complicada. Examina las conversaciones y los datos de finalización antes de decidir qué explicación aplica.
Pendo Agent Analytics ayuda a los equipos a inspeccionar conversaciones, identificar casos de uso y problemas, y conectar las interacciones del agente con el comportamiento posterior del producto. Usa ese contexto para investigar dónde los clientes tienen éxito y dónde se quedan atascados. Con Headless Pendo, puedes explorar la adopción, retención y problemas del agente directamente en herramientas conectadas como Claude y ChatGPT a través del Pendo MCP, sin abrir la aplicación de Pendo.
Verifica también la cobertura de tu medición. Si no puedes conectar una conversación con las acciones posteriores del usuario, es posible que debas resolver una brecha de instrumentación o de identidad antes de sacar conclusiones.
Revisa una muestra de conversaciones junto con los resultados de las tareas correspondientes. Un asistente puede dar una respuesta útil mientras el cliente aún tiene dificultades para completar la configuración. Verificar ambos te ayuda a definir el éxito en términos que reflejen la experiencia del cliente.
Conecta la mejora con el valor de negocio
Una vez que hayas medido una mejora, establece cuánto vale.
Una finalización de tareas más rápida puede liberar capacidad. Menos escalaciones de soporte pueden reducir el trabajo necesario para atender a los clientes. Una mejor activación o retención puede contribuir a los ingresos.
Cada beneficio necesita una explicación que conecte el cambio observado con su efecto financiero. Si los empleados ahorran tiempo y lo utilizan para gestionar más trabajo, describa la capacidad y el rendimiento adicionales. Para reclamar ahorros realizados, identifique el gasto que cambió, como menores costos de proveedores, menos horas pagadas o una contratación evitada.
La retención requiere el mismo cuidado. Es posible que los usuarios recurrentes estén encontrando valor en la función, pero deberá examinar las renovaciones, la expansión u otro resultado comercial relevante para estimar el efecto en los ingresos. Etiquete las proyecciones y los supuestos para que los lectores puedan distinguirlos de los resultados observados.
Haga coincidir los costos con el mismo período que los beneficios. Incluya implementación, instrumentación, cargos del proveedor del modelo, infraestructura, revisión humana y mantenimiento.
También verifique si hay superposición entre los beneficios. Contabilizar el mismo trabajo de soporte evitado tanto como ahorro de mano de obra como capacidad adicional del personal sobreestimaría el retorno.
Aprenda del agente de IA de Pendo
Nuestra experiencia mejorando a Leo, el asistente de productos de IA de Pendo, muestra cómo este proceso de medición puede orientar las decisiones de producto.
Con Agent Analytics, el equipo identificó clientes que hacían preguntas complejas de análisis que Leo tenía dificultades para responder. Examinaron la frecuencia y los tipos de solicitudes, y luego usaron esos hallazgos para priorizar mejoras en las herramientas cuantitativas de Leo.
Antes de ampliar el lanzamiento, el equipo probó las nuevas herramientas con una cohorte que representaba el 20 % de la base de usuarios. La tasa de problemas disminuyó un 67 % para esa cohorte.
También observaron un aumento del 61,3 % en los visitantes recurrentes semanales durante los 60 días anteriores. Ese resultado de participación más amplio abarca un alcance diferente al del experimento con las herramientas.
El equipo tenía evidencia para respaldar una decisión de producto: comprendían un problema recurrente de los clientes y habían probado si sus cambios mejoraban la experiencia. Calcular el ROI financiero requeriría el análisis adicional de costos y beneficios descrito anteriormente.
Puedes seguir el mismo proceso para tu propia funcionalidad. Identifica el problema, prioriza una solución según su impacto y prueba el resultado antes de ampliar el lanzamiento.
Usa la evidencia para decidir qué viene después
Incorpora tu recomendación al caso de negocio. Explica a quiénes mediste, qué comparaste, cómo cambió el resultado y cuánto costó lograr ese cambio.
Expande cuando los clientes alcancen el resultado esperado y el beneficio justifique la inversión. Enfoca la funcionalidad en un público más reducido si es ahí donde encuentras valor. Si los resultados no son suficientes, usa la evidencia para decidir si mejorar la experiencia, cambiar el caso de uso o dejar de invertir.
Puedes tomar una decisión útil antes de que se definan todos los supuestos financieros. Sé específico sobre lo que has observado, lo que has modelado y lo que aún necesitas medir. Eso le da a producto, ingeniería y finanzas una base común para la próxima inversión.
Comienza con un flujo de trabajo donde necesites una visión más clara del resultado.
¿Listo para empezar a demostrar el ROI de tu propio agente de IA? Explora Pendo Agent Analytics para conectar las interacciones del agente con los resultados de usuarios y del negocio.
