Esta es la pregunta que mantiene despiertos a los líderes tecnológicos por las noches. Después de gastar millones en herramientas de IA, los equipos de producto y TI se encuentran rascándose la cabeza, tratando de identificar el impacto empresarial de estas inversiones. 

Este problema no es nuevo: los desarrolladores y compradores de software han intentado durante mucho tiempo comprender qué hacen los usuarios dentro de la aplicación, cómo se sienten y si esos esfuerzos dan resultados. Ahora, la IA generativa y los agentes están cambiando la forma en que los equipos miden el éxito del software. Se trata menos de medir clics, abandonos y tiempo en las páginas, y más de qué tipo de resultados estos agentes pueden impulsar. 

La única manera de entender el rendimiento de los agentes es vinculando los datos de uso con lo que hacen los usuarios a continuación. Aquí hay seis preguntas que deberías hacerle a tus datos de agentes de IA, y lo que significan. 

1. ¿Por qué los usuarios interactúan con mi agente de IA?

Comprender el "por qué" detrás de la interacción con los agentes te ayuda a replicar los éxitos y corregir los puntos de falla. Si los usuarios solo interactúan cuando están frustrados con tu producto SaaS tradicional, eso es un problema de UX, no un logro de la IA. Sin embargo, si prefieren los agentes sobre el soporte humano porque es más rápido, esa es una señal positiva.

Para comprender la intención, analice los principales casos de uso, el volumen de conversaciones y el contexto del usuario. Realice un seguimiento de lo que los usuarios hacían antes de una conversación con un agente, qué rutas alternativas tenían disponibles y cómo difieren sus patrones de interacción entre segmentos de usuarios y casos de uso.

Podrá identificar: 

  • Si los usuarios eligen los agentes primero o recurren a ellos como último recurso
  • Cómo difieren los patrones de interacción entre los usuarios avanzados y los nuevos
  • Qué casos de uso se conectan con los usuarios más y menos comprometidos

2. ¿Los usuarios están logrando sus objetivos? 

Los agentes de IA reportan volúmenes de conversaciones, pero no si los usuarios lograron sus objetivos. Para responder esta pregunta, necesitas información sobre lo que hacen los usuarios después de interactuar con tus agentes de IA en tu aplicación.

Para encontrar esto, rastrea el recorrido completo, desde la preinteracción hasta el mensaje del agente y el resultado empresarial. ¿Qué llevó a los usuarios a interactuar con tu agente de soporte en primer lugar? Observa cuándo las conversaciones terminan con éxito versus cuándo los usuarios se rinden por frustración. Y asegúrate de medir el comportamiento posterior: ¿completan compras, terminan el proceso de incorporación o ¿volver a tu producto? 

Comprender el impacto del agente en etapas posteriores también te ayudará a responder: 

  • Qué casos de uso conducen a resultados exitosos frente a resultados negativos, como callejones sin salida, tickets de soporte adicionales, prompts de frustración y comentarios negativos
  • Cómo varía la finalización de tareas según el segmento de usuario, el caso de uso o la complejidad de una solicitud
  • Si las interacciones con el agente ayudan o perjudican la retención, el compromiso, la fidelización y la adopción

3. ¿Qué tipos de interacciones con el agente impulsan los resultados de negocio? 

Para invertir de manera efectiva en su hoja de ruta de IA, necesita saber cómo los agentes le ayudan a aumentar los ingresos, reducir costos y disminuir el riesgo. Eso significa que necesita visibilidad sobre sus principales casos de uso, además del impacto posterior, para hacer más de lo que está funcionando y corregir lo que no. 

Para responder esta pregunta, analiza las conversaciones por caso de uso. Rastrea qué tipo de conversación se correlaciona con conversiones, adopción de funciones, expansión de usuarios o abandono. ¿Qué conversaciones tienen la mayor retención y ARR asociado? ¿Qué conversaciones están vinculadas a un mayor abandono y puntuaciones bajas de NPS? 

Preguntarle a tu analítica de IA te ayuda a comprender: 

  • Qué casos de uso están vinculados a mayores conversiones y retención
  • Cómo las interacciones de los agentes afectan el valor de vida del cliente (LTV) 
  • Si los agentes están canibalizando accidentalmente interacciones humanas de alto valor
  • Qué segmentos de usuarios obtienen mayor valor empresarial de la ayuda del agente

4. ¿Tu agente está cambiando el comportamiento de los usuarios? 

A corto plazo, los agentes responden preguntas. A largo plazo, los agentes reconfiguran los flujos de trabajo: cómo los usuarios navegan por tu producto, satisfacen sus necesidades y realizan su trabajo. 

Los empleados y clientes que utilizan agentes pueden descubrir funciones más rápidamente, requerir menos incorporación o seguir un camino nuevo e inesperado. Comprender estos patrones le ayuda a optimizar el diseño del agente y la experiencia general del producto.  

Para entender esto, compare los patrones de recorrido del usuario antes y después del agente. Realice un seguimiento de cómo las interacciones con el agente influyen en el descubrimiento de funciones, el tiempo para obtener valor y las rutas de adopción del producto. Identifique los nuevos comportamientos de los usuarios que surgen de la asistencia del agente.

Una vez que responda esta pregunta, podrá comprender: 

  • Qué nuevas rutas de usuario surgen cuando los agentes guían la navegación
  • Cómo los usuarios asistidos por agentes difieren en los patrones de participación y retención
  • Si tu agente está mejorando el sentimiento general del usuario a través de NPS y CSAT

5. ¿En qué deberías invertir a continuación?

La mayoría de los equipos crean funciones de agente basándose en la intuición en lugar de en datos sobre lo que los usuarios realmente necesitan y usan. 

Las hojas de ruta de IA, guiadas por datos de comportamiento reales, ayudan a reducir el gasto desperdiciado en I+D y el riesgo en la hoja de ruta. Esto requiere saber qué capacidades están funcionando y cuáles no, para poder priorizar, mejorar o retirar adecuadamente los componentes de su stack.

Para determinarlo, analiza los patrones de solicitudes no admitidas para identificar funciones de alta demanda que faltan. Rastrea qué capacidades existentes generan los resultados más exitosos e identifica las necesidades emergentes de los usuarios antes que la competencia.

Lo que finalmente podrás responder:

  • Qué capacidades faltantes eliminarían la mayor fricción para los usuarios
  • Qué características existentes del agente generan el mayor impacto empresarial
  • Qué nuevos casos de uso están surgiendo a partir de los patrones de comportamiento de los usuarios
  • Dónde enfocar los esfuerzos de mejora para maximizar el ROI

6. ¿Qué tipo de datos comparten los usuarios finales con los agentes? 

Puede ver que los usuarios están chateando con agentes, pero no sabe si están compartiendo información que podría generar problemas de cumplimiento (como datos de clientes, procesos internos, inteligencia competitiva o detalles personales). 

Si los usuarios comparten información altamente confidencial, necesita salvaguardas adecuadas para prevenir futuros problemas regulatorios y de cumplimiento. Si está implementando un nuevo agente de IA para su fuerza laboral, debe rastrear: 

  • Si los usuarios comparten PII, datos financieros u otra información regulada
  • Cómo varía el comportamiento de intercambio de datos según el rol del usuario o el departamento
  • Qué tipos de conversaciones llevan a los usuarios a compartir detalles confidenciales
  • Si los usuarios confían lo suficiente en su agente como para proporcionar contexto en preguntas complejas

Rastree qué información comparten voluntariamente los usuarios frente a la que protegen, e identifique patrones en el intercambio de datos entre diferentes roles de usuario, departamentos o casos de uso.

Cuando sus datos de software e IA conviven en un mismo lugar, puede comprender el impacto total de sus inversiones en IA. Pendo Agent Analytics es la primera —y única— solución diseñada para ayudarle a hacer exactamente esto. Obtén una demo para obtener más información sobre Agent Analytics.