Agentes de IA estão sendo implantados nas suas equipes de produto, engenharia, TI e sucesso do cliente. Ótimo. Mas você sabe se eles estão ajudando?

Embora isso possa parecer uma pergunta óbvia, é uma questão que muitas pessoas estão sendo questionadas em todo lugar. Após alguns anos, as pessoas querem saber: qual é o retorno? Como estamos melhores? 

Para ajudá-lo a responder a essa pergunta, conversamos com um de nossos próprios especialistas na área, Pierce Healy. Ele cofundou a Zelta.ai e atualmente é Diretor Sênior de Produtos de IA da Pendo. Pierce é praticamente nosso especialista residente em IA, ajudando nossos clientes e colegas de trabalho (inclusive eu) a entender e usar a IA melhor. 

Veja o que ele tinha a dizer sobre este tema. 

Passo 1: Escolha sua métrica norte

O erro mais comum que as equipes cometem ao medir o valor da IA é comparar com o esforço humano ou o tempo economizado. É totalmente normal pensar: "isso teria levado 5 horas para um humano, então economizamos 5 horas."

Mas em muitos casos, o agente está fazendo algo que um humano não conseguiria fazer de jeito nenhum, como criar um protótipo em uma linguagem que ninguém na equipe conhece, ou extrair temas de milhares de tickets de suporte e identificar melhorias imediatas para resolvê-los. "A linha de base é efetivamente infinita, o que torna a matemática sem sentido", Pierceexplicado.

Em vez disso, você deve começar com o resultado que sua equipe já se preocupa e medir isso. Isso varia por equipe e pelo trabalho a ser feito pelo seu agente: 

  • O sucesso do cliente se preocupa com a taxa de resolução de tickets, o tempo de resolução e o volume de escalonamentos.
  • Equipes de engenharia se preocupam com a velocidade de lançamento de novos recursos e o tempo do spec até a produção.
  • Equipes de TI podem acompanhar a velocidade de provisionamento, a redução de solicitações manuais, mudanças na dívida técnica e nos gastos, e quais softwares agentes poderiam substituir.
  • Vendas precisa acompanhar a taxa de conversão de upsell ou a precisão de pontuação de leads. 

Conselho de Pierce: Independentemente do time em que você estiver, escolha uma métrica. Certifique-se de que seja algo que você possa acompanhar antes e depois da implantação do agente e, se você não conseguir definir como é o "melhor", você não está pronto para medir o ROI. 

Etapa 2: Marque seu agente e configure os relatórios

Agora, você precisa responder à pergunta: "Um dashboard ou relatório pode me mostrar que o agente está movendo a métrica que defini no Passo 1?" 

A maioria das equipes pula essa etapa, perdendo visibilidade sobre como o agente está produzindo (ou deixando de produzir) os resultados que você escolheu no passo 1. Uma boa instrumentação de agente deve ser assim:

  • Sinais comportamentais em vez de avaliações autodeclaradas. Avaliações, também conhecidas como pontuação da saída de um agente em relação às respostas esperadas antes de entrar em produção, são úteis para que a engenharia alinhe o que significa "correto", mas são fáceis de manipular, subjetivas em escala e não baseadas no que realmente acontece na prática. O que você realmente quer é o que se vê é uma mudança de comportamento downstream. Menos tickets estão sendo escalados para o Nível 2? Os engenheiros estão corrigindo menos bugs? É isso que se deve observar.
  • Configure suas ferramentas de medição. Embora a maioria dos modelos de IA inclua algum rastreamento e registro nativos prontos para uso, eles não oferecem visibilidade completa sobre como esses agentes estão sendo utilizados. Para entender a eficácia, você precisa de visibilidade total sobre como as pessoas estão interagindo com o agente: o que perguntaram, onde a conversa quebrou abaixo, e o que fizeram em seguida. Agent Analytics é a única ferramenta capaz de revelar essa camada comportamental no seu ecossistema de agentes.
  • Acompanhe o escopo do agente junto com os resultados. Para agentes em segundo plano (aqueles que executam fluxos de trabalho sem que um usuário escolha "usá-los"), a adoção tem uma aparência diferente. Em vez de medir quantos usuários acessaram o agente, meça se o escopo do agente está se expandindo ou se contraindo com base no desempenho e se ele está sendo confiável para agir mais autonomamente ao longo do tempo.

Etapa 3: Traduza métricas no que a liderança realmente se importa

Você tem sua métrica estrela-guia e a instrumentação. Agora, é hora de criar seu business case. 

  • Para líderes de produto: o ROI é menos sobre custo e mais sobre validade estratégica. Os usuários consideram isso útil? É uma forma mais eficiente de atingir seus objetivos? Essa capacidade está nos mantendo relevantes pelos próximos 3–5 anos? Estamos desbloqueando novos segmentos de mercado ou casos de uso que não conseguíamos atender antes? Enquadre o valor do agente como mercado posicionamento, não redução de quadro de funcionários.
  • Para líderes de TI e operações: Eles querem saber sobre eficiência. Vincule o desempenho do seu agente diretamente a melhorias no nível de serviço, como taxas de resolução, tempo de provisionamento e redução de etapas manuais. 
  • Para executivos e o conselho: Enquadre isso em torno de resultados de negócios, como: "nossa taxa de escalada de clientes caiu 22% no segundo trimestre." O agente é o como nessa situação.

À medida que os agentes de IA se tornam ainda mais comuns dentro das organizações, a liderança continuará precisando de uma forma de gerenciá-los da mesma maneira que gerencia equipes humanas: vendo o que cada agente está fazendo, qual acesso ele possui e se seu escopo deve se expandir ou contrair com base no desempenho. 

Pense nisso como gerenciamento de agentes: assim como um gestor revisa o trabalho de um novo contratado antes de conceder mais autonomia, você vai querer visibilidade sobre a eficácia de cada agente antes de ampliar suas permissões. 

Pronto para ver o que seus agentes estão realmente fazendo? Solicite uma demonstração do Agent Analytics.