RF-SMART is the leading third-party warehouse management system (WMS) for NetSuite, serving 2,800+ customers across 40+ countries.
Software
201-1k
RF-SMART had no reliable way to measure their AI agents' performance—or understand why the agents were making the decisions they made. Without that visibility, the team couldn't prioritize what to build next.
RF-SMART turned to Pendo Agent Analytics to get a clear view of agent performance, individual customer interactions, and AI decision-making.
With that visibility in place, RF-SMART accelerated their AI development cycles, brought cross-functional teams into alignment with accessible reporting, and built a product roadmap grounded in real customer data.
Lanzar un agente de IA es la parte fácil. Saber qué está haciendo realmente después es un problema completamente distinto.
Esa es la pregunta con la que los equipos de producto se topan rápidamente: el agente está activo, los usuarios interactúan con él, y de repente la pregunta más frecuente en la sala es «¿Por qué hizo eso la IA?» Los análisis tradicionales no fueron diseñados para responderla. Los registros ayudan, pero solo hasta cierto punto. Y sin visibilidad real sobre cómo los agentes razonan y responden, los equipos se quedan adivinando: qué está funcionando, qué está fallando y qué construir a continuación.
RF-SMART conocía este desafío de primera mano.
Durante más de 40 años, RF-SMART ha ayudado a las organizaciones a optimizar sus operaciones de almacén, inventario y cadena de suministro. Su software ayuda a los clientes que trabajan dentro de grandes sistemas de planificación de recursos empresariales (ERP) a completar procesos de negocio críticos de forma más rápida y eficiente. A medida que la IA comenzó a transformar el software empresarial, RF-SMART actuó con rapidez para explorar cómo los agentes de IA podían ayudar a los clientes a navegar flujos de trabajo complejos, acelerar la incorporación y completar tareas con menos esfuerzo.
Pero crear esas experiencias planteó una pregunta más difícil: ¿cómo se mide un agente? No solo si funciona, sino por qué se comporta de la manera en que lo hace.
Para responder eso, RF-SMART recurrió a Pendo Agent Analytics.
Para Elliot Land, Innovation Product Owner en RF-SMART, el valor de la IA se reduce a una sola cosa: ayudar a los clientes a lograr más.
"La revolución de la IA está aquí y está ocurriendo, y las cosas cambian cada vez más rápido cada día. Para nosotros, nuestros productos tienen que ver con aumentar la eficiencia del usuario. Eso es lo que hacemos en última instancia."
—Elliot Land, Innovation Product Owner, RF-SMART
El equipo ve la IA como una extensión natural de la misión de RF-SMART.
"¿Qué puede hacer un agente de IA por ti que te ayude a ahorrar 10 minutos cada día, que te ahorre una hora a la semana, que te ahorre días a lo largo de un año?", dijo Land. "Si podemos darte un mes extra al año para hacer más, vamos a ayudarte a ser mejor".
Con esa visión en mente, RF-SMART comenzó a desarrollar agentes de IA diseñados para simplificar la incorporación de productos y ayudar a los clientes a completar tareas de implementación complejas de manera más independiente. Durante una sesión de Pendomonium, el equipo describió la iniciativa como la próxima evolución de su prolongado esfuerzo por hacer que la incorporación de software empresarial sea «simple, mejor, más rápida y más sólida».
Pero a medida que el desarrollo se aceleró, el equipo se dio cuenta rápidamente de que medir la IA requería una mentalidad diferente a la de medir el software tradicional.
Como muchas organizaciones que experimentan con IA, RF-SMART se enfocó inicialmente en una pregunta simple: ¿el agente funciona?
"Antes de que tuviéramos Agent Analytics para medir las IAs, la conversación era simplemente sobre si la IA funciona, ¿está haciendo lo que necesita hacer?", dijo Land.
Ese enfoque fue suficiente para las pruebas de concepto, pero no fue suficiente para respaldar el desarrollo de productos a largo plazo.
Los agentes de IA introducen un nivel de imprevisibilidad al que los equipos de software tradicionales no están acostumbrados a gestionar. Como explicó Land durante su presentación en Pendomonium, los equipos ya no solo miden clics, vistas de página y flujos de trabajo. Están midiendo el razonamiento, el contexto y la toma de decisiones. Una pregunta surge inevitablemente de las partes interesadas, los evaluadores, los ejecutivos y los clientes por igual:
"¿Por qué hizo eso la IA?"
Responder esa pregunta se volvió fundamental a medida que RF-SMART pasó de la experimentación a escalar sus iniciativas de IA.
El equipo necesitaba una forma de entender cómo los usuarios interactuaban con los agentes, identificar problemas rápidamente y tomar decisiones más inteligentes sobre qué desarrollar a continuación.
RF-SMART implementó Pendo Agent Analytics junto con sus herramientas de desarrollo existentes para obtener visibilidad sobre el rendimiento de los agentes, las interacciones con los clientes y evolucionar su estrategia de IA.
"Con Agent Analytics implementado, nos permitió ver panoramas más amplios, analizar otras métricas y generar informes más avanzados y maduros sobre nuestro agente de IA que necesitábamos para crecer. Funciona, ahora hagámoslo mejor."
—Elliot Land
Cuando se trata de las funcionalidades favoritas, hay un claro ganador para Land:
"Las conversaciones individuales son mi vista favorita en Agent Analytics."
En lugar de depender únicamente de registros o informes agregados, Land revisa regularmente las interacciones reales con clientes para entender cómo los usuarios se relacionan con las experiencias de IA de RF-SMART.
"Me gusta entrar y simplemente comenzar a seleccionar conversaciones individuales al azar, revisando la vista de conversación en Agent Analytics."
La capacidad de conectar conversaciones directamente con Session Replay le brinda al equipo un contexto aún más profundo.
"Con esas dos vistas realmente unidas, es muy fácil entender la experiencia del usuario, dónde estaban en ese momento y qué hicieron con la IA", dijo Land. La combinación ayuda a los equipos a pasar rápidamente de los informes de alto nivel a la investigación detallada y la comprensión a nivel de usuario.
Uno de los mayores beneficios que RF-SMART descubrió fue la capacidad de hacer que los datos de rendimiento de IA fueran accesibles más allá de los equipos de ingeniería.
"Es la mejor herramienta que tenemos para mostrar los datos del agente de IA que necesitas en los informes para mostrarle a la gente cómo está funcionando. También es muy útil tenerlo en un formato que los POs, PMs y cualquier persona en producto pueda ver y entender de un vistazo", explicó Land.
Él describe la experiencia como "reportajes técnicos no técnicos para personas no técnicas."
Esa visibilidad ha contribuido a crear alineación entre los equipos, lo que permite conversaciones más ágiles, ciclos de retroalimentación más rápidos y decisiones más informadas sobre cómo deben evolucionar los productos de IA de RF-SMART.
Land también destacó varios beneficios prácticos que contribuyeron a ciclos de desarrollo de IA más rápidos, entre ellos: bajo esfuerzo de implementación
A medida que RF-SMART continúa expandiendo sus capacidades de IA, los comentarios de los clientes siguen siendo la guía principal de la empresa.
"La fuente definitiva de verdad sobre lo que deberíamos estar construyendo y haciendo proviene de los comentarios e interacciones de los clientes, que ahora vemos con Agent Analytics", dijo Land.
El equipo trabaja estrechamente con clientes beta, utilizando Agent Analytics para comprender los patrones de uso en el mundo real y descubrir comportamientos inesperados.
Land compara el desarrollo de IA con darles a los clientes una colección de ingredientes.
"Tienes una idea de cómo se supone que tus ingredientes deben combinarse en la receta que quieres hacer con tu IA, pero te garantizo que tus clientes van a encontrar una nueva manera de combinar esos ingredientes para producir resultados que no esperabas."
Esos descubrimientos están ayudando a RF-SMART a identificar oportunidades para la innovación futura, incluidas arquitecturas de IA más modulares que puedan satisfacer las necesidades únicas de diferentes clientes.
Para Land, la clave está en comenzar, aprender rápidamente y generar impulso.
"Mi consejo para cualquier otro propietario de producto que esté trabajando en un agente de IA hoy sería simplemente lanzar el primero", dijo. "Una vez que obtienes la fórmula, ves que es factible y cómo está funcionando, los resultados que obtienes abrirán tu mundo".
Para más información, visita La ronda relámpago de RF-SMART en Pendomonium 2026: Cómo optimizar el onboarding, de las apps a los agentes.
Descubre cómo Agent Analytics puede ayudarte a medir y monitorear tus agentes.
