RF-SMART is the leading third-party warehouse management system (WMS) for NetSuite, serving 2,800+ customers across 40+ countries.
Software
201-1k
RF-SMART had no reliable way to measure their AI agents' performance—or understand why the agents were making the decisions they made. Without that visibility, the team couldn't prioritize what to build next.
RF-SMART turned to Pendo Agent Analytics to get a clear view of agent performance, individual customer interactions, and AI decision-making.
With that visibility in place, RF-SMART accelerated their AI development cycles, brought cross-functional teams into alignment with accessible reporting, and built a product roadmap grounded in real customer data.
Lançar um agente de IA é a parte fácil. Saber o que ele está realmente fazendo depois é um problema completamente diferente.
Essa é a questão com a qual as equipes de produto se deparam rapidamente: o agente está no ar, os usuários estão interagindo com ele, e de repente a pergunta mais comum na sala é "Por que a IA fez isso?" As análises tradicionais não foram criadas para responder a isso. Os logs ajudam, mas só até certo ponto. E sem visibilidade real de como os agentes raciocinam e respondem, as equipes ficam no escuro — sobre o que está funcionando, o que está quebrando e o que construir a seguir.
A RF-SMART conhecia esse desafio em primeira mão.
Por mais de 40 anos, a RF-SMART tem ajudado organizações a otimizar operações de armazém, estoque e cadeia de suprimentos. Seu software ajuda clientes que trabalham com grandes sistemas de planejamento de recursos empresariais (ERP) a concluir processos de negócios críticos com mais rapidez e eficiência. À medida que a IA começou a transformar o software empresarial, a RF-SMART agiu rapidamente para explorar como os agentes de IA poderiam ajudar os clientes a navegar por fluxos de trabalho complexos, acelerar a integração e concluir tarefas com menos esforço.
Mas criar essas experiências levantou uma questão mais difícil: como você mede um agente — não apenas se ele funciona, mas por que ele se comporta da forma que se comporta?
Para responder a isso, a RF-SMART recorreu ao Pendo Agent Analytics.
Para Elliot Land, Innovation Product Owner da RF-SMART, o valor da IA se resume a uma coisa: ajudar os clientes a realizarem mais.
"A revolução da IA está aqui e acontecendo, e as coisas estão mudando cada vez mais rápido a cada dia. Para nós, nossos produtos têm como objetivo aumentar a eficiência do usuário. É isso que fazemos, em última análise."
—Elliot Land, Innovation Product Owner, RF-SMART
A equipe vê a IA como uma extensão natural da missão da RF-SMART.
"O que um agente de IA pode fazer por você que te ajuda a economizar 10 minutos por dia, que te economiza uma hora por semana, que te economiza dias ao longo de um ano?" disse Land. "Se pudermos te proporcionar um mês extra no ano para fazer mais, vamos te ajudar a ser melhor."
Com essa visão em mente, a RF-SMART começou a desenvolver agentes de IA projetados para simplificar a integração de produtos e ajudar os clientes a concluir tarefas complexas de implementação de forma mais independente. Durante uma sessão do Pendomonium, a equipe descreveu a iniciativa como a próxima evolução de seu esforço contínuo para tornar a integração de software empresarial "simples, melhor, mais rápida e mais forte."
Mas à medida que o desenvolvimento acelerou, a equipe rapidamente percebeu que medir a IA exigia uma mentalidade diferente da usada para medir softwares tradicionais.
Como muitas organizações que experimentam IA, a RF-SMART inicialmente se concentrou em uma pergunta simples: O agente funciona?
"Antes de termos o Agent Analytics para medir as IAs, a conversa era apenas sobre se a IA funciona? Ela está fazendo o que precisa fazer?" disse Land.
Essa abordagem foi suficiente para testes de prova de conceito, mas não foi suficiente para apoiar o desenvolvimento de produto a longo prazo.
Os agentes de IA introduzem um nível de imprevisibilidade ao qual as equipes de software tradicionais não estão acostumadas a gerenciar. Como Land explicou durante sua apresentação no Pendomonium, as equipes não estão mais apenas medindo cliques, visualizações de página e fluxos de trabalho. Elas estão medindo raciocínio, contexto e tomada de decisões. Uma pergunta inevitavelmente surge de stakeholders, testadores, executivos e clientes:
"Por que a IA fez isso?"
Responder a essa pergunta tornou-se fundamental à medida que a RF-SMART avançou da experimentação para a expansão de suas iniciativas de IA.
A equipe precisava de uma maneira de entender como os usuários estavam interagindo com os agentes, identificar problemas rapidamente e tomar decisões mais inteligentes sobre o que desenvolver a seguir.
A RF-SMART implementou o Pendo Agent Analytics junto com suas ferramentas de desenvolvimento existentes para obter visibilidade sobre o desempenho dos agentes, as interações com clientes e evoluir sua estratégia de IA.
"Com o Agent Analytics implementado, ele nos permitiu ver quadros mais amplos, analisar outras métricas e fazer relatórios mais avançados e maduros sobre nosso agente de IA, nos quais precisávamos crescer. Funciona, agora vamos melhorá-lo."
—Elliot Land
Quando se trata de funcionalidades favoritas, há um vencedor claro para Land:
"As conversas individuais são minha visualização favorita no Agent Analytics."
Em vez de depender exclusivamente de logs ou relatórios agregados, Land analisa regularmente interações reais de clientes para entender como os usuários se envolvem com as experiências de IA da RF-SMART.
"Eu gosto de entrar e simplesmente começar a puxar conversas individuais aleatoriamente, revisando a visualização de conversa no Agent Analytics."
A capacidade de conectar conversas diretamente ao Session Replay oferece à equipe um contexto ainda mais aprofundado.
"Com essas duas visões realmente integradas, fica muito fácil entender de verdade a experiência do usuário — onde ele estava naquele momento e o que fez com a IA", disse Land. A combinação ajuda as equipes a passarem rapidamente de relatórios de alto nível para investigações detalhadas e compreensão no nível do usuário.
Um dos maiores benefícios descobertos pela RF-SMART foi a capacidade de tornar os dados de desempenho de IA acessíveis além das equipes de engenharia.
"É a melhor ferramenta que temos para mostrar os dados do agente de IA necessários para relatórios que demonstram às pessoas como ele está funcionando. Também é muito útil tê-los em um formato que POs, PMs e qualquer pessoa em produto possam ver e entender de relance", explicou Land.
Ele descreve a experiência como "reportagem técnica não técnica para pessoas não técnicas."
Essa visibilidade ajudou a criar alinhamento entre as equipes, possibilitando conversas mais ágeis, ciclos de feedback mais rápidos e decisões mais embasadas sobre como os produtos de IA da RF-SMART devem evoluir.
Land também destacou vários benefícios práticos que contribuíram para ciclos de desenvolvimento de IA mais rápidos, incluindo: baixo esforço de implementação
À medida que a RF-SMART continua expandindo suas capacidades de IA, o feedback dos clientes permanece o principal guia da empresa.
"A fonte definitiva de verdade sobre o que devemos construir e fazer vem do feedback e das interações dos clientes, que agora visualizamos com o Agent Analytics", disse Land.
A equipe trabalha em estreita colaboração com clientes beta, usando o Agent Analytics para entender os padrões de uso no mundo real e identificar comportamentos inesperados.
Land compara o desenvolvimento de IA a oferecer aos clientes uma coleção de ingredientes.
"Você tem uma ideia de como seus ingredientes devem se combinar na receita que deseja fazer com sua IA, mas eu garanto a você, seus clientes vão encontrar uma nova maneira de combinar esses ingredientes para produzir resultados que você não esperava."
Essas descobertas estão ajudando a RF-SMART a identificar oportunidades de inovação futura, incluindo arquiteturas de IA mais modulares que possam atender às necessidades exclusivas de diferentes clientes.
Para Land, o segredo é começar, aprender rapidamente e ganhar impulso.
"Meu conselho para qualquer outro dono de produto que esteja trabalhando com um agente de IA hoje seria simplesmente lançar o primeiro", disse ele. "Depois que você pegar o jeito, ver que é viável e como está funcionando, os resultados que você obtiver vão abrir o seu mundo."
Para saber mais, confira A rodada relâmpago da RF-SMART no Pendomonium 2026: Como otimizar o onboarding, de aplicativos a agentes.
Veja como o Agent Analytics pode ajudá-lo a medir e monitorar seus agentes.
