Los agentes de IA se están implementando en sus equipos de producto, ingeniería, TI y éxito del cliente. Muy bien. Pero, ¿sabe si realmente están ayudando?

Aunque pueda parecer una pregunta obvia, es algo que mucha gente está escuchando en todas partes. Después de algunos años, la gente quiere saber: ¿cuál es el beneficio? ¿En qué somos mejores? 

Para ayudarte a responder esta pregunta, hablamos con uno de nuestros propios expertos en el campo, Pierce Healy. Él cofundó Zelta.ai, y ahora es el Director Sénior de Productos de IA de Pendo. Pierce es prácticamente nuestro experto residente en IA, ayudando a nuestros clientes y compañeros de trabajo (incluido yo) a entender y usar mejor la IA. 

Esto es lo que tuvo que decir sobre este tema. 

Paso 1: Elige tu métrica estrella del norte

El error más común que cometen los equipos al medir el valor de la IA es compararlo con el esfuerzo humano o el tiempo ahorrado. Es completamente normal pensar: "esto le habría tomado 5 horas a una persona, así que ahorramos 5 horas".

Pero en muchos casos, el agente está haciendo algo que un humano no podría haber hecho en absoluto, como construir un prototipo en un lenguaje que nadie en el equipo conoce, o extraer temas de miles de tickets de soporte e identificar mejoras inmediatas para resolverlos. "La línea de base es efectivamente infinita, lo que hace que el cálculo no tenga sentido", Pierce explicado.

En cambio, debes comenzar con el resultado que ya le importa a tu equipo y medirlo. Esto varía según el equipo y el trabajo que debe realizar tu agente: 

  • El éxito del cliente se preocupa por la tasa de resolución de tickets, el tiempo de resolución y el volumen de escalaciones.
  • Los equipos de ingeniería se preocupan por la velocidad de las nuevas funciones lanzadas y el tiempo desde la especificación hasta la producción.
  • Los equipos de TI pueden hacer seguimiento de la velocidad de aprovisionamiento, la reducción de solicitudes manuales, los cambios en la deuda técnica y el gasto, y qué software de agentes podría desplazarse.
  • Ventas necesita rastrear la tasa de conversión de ventas adicionales o la precisión del puntaje de clientes potenciales. 

El consejo de Pierce: sea cual sea el equipo en el que estés, elige una sola métrica. Asegúrate de que sea algo que puedas rastrear antes y después de que el agente sea implementado, y si no puedes definir cómo se ve «mejor», no estás listo para medir el ROI. 

Paso 2: Etiqueta tu agente y configura los informes

Ahora, debes responder la pregunta: «¿Puede un panel o informe mostrarme que el agente está moviendo la métrica que definí en el Paso 1?» 

La mayoría de los equipos omiten este paso y pierden visibilidad sobre cómo el agente está produciendo (o dejando de producir) los resultados que elegiste en el paso 1. Una buena instrumentación del agente debería verse así:

  • Señales de comportamiento en lugar de evaluaciones autorreportadas. Las evaluaciones, es decir, puntuar el resultado de un agente comparándolo con respuestas esperadas antes de que esté en producción, son útiles para que los equipos de ingeniería se alineen sobre cómo se ve lo "correcto", pero son fáciles de manipular, subjetivas a escala y no se basan en lo que realmente ocurre en la práctica. Lo que realmente quieres es lo que se ve es un cambio de comportamiento en sentido descendente. ¿Se están escalando menos tickets al Nivel 2? ¿Los ingenieros están corrigiendo menos errores? Eso es lo que hay que buscar.
  • Configura tus herramientas de medición. Si bien la mayoría de los modelos de IA incluyen cierto rastreo y registro nativos de forma predeterminada, no ofrecen visibilidad completa sobre cómo se utilizan esos agentes. Para comprender su efectividad, necesitas visibilidad total sobre cómo las personas interactúan con el agente: qué preguntaron, dónde se interrumpió la conversación hacia abajo, y qué hicieron después. Agent Analytics es la única herramienta que puede revelar esa capa de comportamiento en tu ecosistema de agentes.
  • Rastrea el alcance del agente junto con los resultados. Para los agentes en segundo plano (los que ejecutan flujos de trabajo sin que un usuario elija "usarlos"), la adopción se ve diferente. En lugar de medir cuántos usuarios accedieron a él, mide si el alcance del agente se está expandiendo o contrayendo según el rendimiento y si se le está confiando actuar más de forma autónoma con el tiempo.

Paso 3: Traduce las métricas en lo que realmente le importa al liderazgo

Ya tienes tu métrica estrella del norte y la instrumentación. Ahora es momento de crear tu caso de negocio. 

  • Para líderes de producto: el ROI tiene menos que ver con el costo y más con la validez estratégica. ¿Los usuarios encuentran esto útil? ¿Es una forma más eficiente de alcanzar sus objetivos? ¿Esta capacidad nos mantiene relevantes durante los próximos 3–5 años? ¿Estamos desbloqueando nuevos segmentos de mercado o casos de uso que antes no podíamos atender? Enmarque el valor del agente como mercado posicionamiento, no reducción de personal.
  • Para líderes de TI y operaciones: Quieren saber sobre eficiencia. Vincule el rendimiento de su agente directamente a mejoras en el nivel de servicio, como tasas de resolución, tiempo de aprovisionamiento y reducción de pasos manuales. 
  • Para ejecutivos y la junta directiva: Enmarca esto en torno a resultados de negocio, como: "nuestra tasa de escalaciones de clientes bajó un 22% en el segundo trimestre." El agente es el cómo en esta situación.

A medida que los agentes de IA se vuelven aún más comunes dentro de las organizaciones, el liderazgo seguirá necesitando una forma de gestionarlos de la misma manera en que gestionan los equipos humanos: viendo qué hace cada agente, a qué acceso tiene y si su alcance debe expandirse o reducirse según su desempeño. 

Piénsalo como gestión de agentes: de la misma manera en que un gerente revisa el trabajo de un nuevo empleado antes de darle más autonomía, querrás tener visibilidad sobre la efectividad de cada agente antes de ampliar sus permisos. 

¿Listo para ver lo que sus agentes realmente están haciendo? Obtenga una demo de Agent Analytics.