Pushpay capacita organizações baseadas em missão a envolver suas comunidades, reunindo pessoas e promovendo conexões significativas. Nossa inovadora suíte de produtos ajuda a construir culturas de generosidade, simplificando as doações, melhorando a comunicação e fortalecendo os relacionamentos.
Software
201-1k
NA
Redmond, Washington
A Pushpay introduziu um agente de pesquisa de linguagem natural para ajudar os administradores das igrejas a encontrarem dados de forma mais intuitiva, o que, em última análise, permite-lhes conectar-se e engajar-se com sua comunidade de forma mais eficaz. Mas, após o lançamento, a equipe de produto não tinha uma maneira clara de medir se estava funcionando. Eles dependiam dos engenheiros para extrair os registros dos prompts, juntando as saídas em JSON e lutando para entender o que os usuários estavam pedindo ou por que estavam desistindo no meio do processo.
A Pushpay implementou o Pendo Agent Analytics durante a fase beta do lançamento do agente, proporcionando à equipe uma visão antecipada do comportamento dos prompts, dos pontos de atrito e dos casos de uso emergentes. Eles acompanharam a frustração dos utilizadores, identificaram padrões de consulta inesperados e utilizaram as reproduções para compreender exatamente onde e por que os utilizadores desistiram.
A equipa ganhou total visibilidade dos prompts e comportamentos dos utilizadores, identificou limiares de fadiga dos prompts e descobriu necessidades emergentes dos utilizadores. Isso levou ao ajuste dos prompts, melhorias nos filtros, redesign da experiência e educação dos usuários. Com dados claros e ciclos de feedback mais apertados, Pushpay evoluiu o agente para uma experiência escalável e confiável que ajuda os usuários a encontrarem informações em menos de dez segundos (em vez de um a dois minutos).
A Pushpay desenvolve software de engajamento de doadores e gestão de igrejas para organizações de base religiosa. Seus principais usuários são os funcionários administrativos da igreja, que gerenciam doações, eventos e registros de membros. Em 2025, a equipe lançou um agente de busca em linguagem natural que permite aos usuários consultar seus dados de pessoas usando linguagem conversacional, em vez de navegar por quase 200 filtros.
A visão era clara: capacitar todos os usuários, não apenas os usuários avançados. Mas uma vez no ar, não ficou claro o que estava funcionando ou dando errado. “Estávamos usando logs.” Os engenheiros estavam nos mostrando JSON", explicou Paul Frank, gerente de produto sênior da Pushpay. “Estávamos tentando decifrar o que as pessoas estavam perguntando.” Como gerente de projeto, isso é difícil.”
Antes Agent Analytics, a equipe dependia de telemetria fragmentada e intuição. Após o lançamento do Agent Analytics, tudo mudou.
O primeiro padrão era difícil de ignorar: um grande grupo de usuários enviou três ou quatro prompts e, em seguida, parou de usar o recurso. O Agent Analytics tornou esse abandono óbvio. Isso ajudou a equipe a identificar o ponto problemático e aprimorar a experiência para que os usuários percebessem o valor dela mais rapidamente.
Em poucos dias, eles também observaram consultas inesperadas que revelaram novas necessidades e uma clara lacuna entre os usuários avançados (com 50 a mais de 100 solicitações) e todos os outros.
"Tivemos um grande grupo de usuários que atingiram o limite de três ou quatro prompts e depois desistiram." O Agent Analytics nos ajudou a identificar esse problema e a determinar como melhorar as orientações ou refinar as instruções."
Paul Frank, Gerente de Produto Staff, Pushpay
Eles usaram essa percepção para aprimorar as respostas aos prompts, melhorar a transparência dos resultados e repensar a forma como orientavam os usuários em suas primeiras consultas.
A categorização de prompts inverteu as expectativas iniciais da Pushpay. Inicialmente, a equipe achava que tinha uma ideia clara do que os usuários perguntariam. Em vez disso, Agent Analytics exibiu uma ampla gama de consultas, muitas delas válidas, porém não suportadas.
“Cada dia é uma surpresa”, disse Frank. “Estamos vendo nossos usuários fazendo perguntas ao agente que nunca pensamos em dar suporte, mas, em muitos casos, podemos” Isso tem sido fundamental para a priorização do roadmap.”
Em alguns casos, os usuários fizeram perguntas que eram totalmente suportadas pela plataforma, mas os filtros não eram facilmente exibidos. Essa constatação levou a equipe a reformular as inferências de prompt, aprimorar a forma como os filtros eram rotulados e repensar a maneira como os resultados eram apresentados.
Utilizando os casos de uso emergentes e rastreados, a equipe vem otimizando continuamente seu agente para alinhar melhor com a forma como os usuários realmente pesquisam.
Hoje, Pendo Agent Analytics é fundamental para o ciclo de vida do agente da Pushpay. A equipe analisa diariamente as métricas de nível de prompt, os 'rage prompts' e os dados de replay para entender o atrito, aprimorar a engenharia de prompts e validar o que significa sucesso.
Eles monitoram diariamente os 'rage prompts' para detectar falhas precocemente, rastreiam temas de prompts para identificar casos de uso em alta e sinalizam comportamentos fora do script que indicam onde o agente precisa de ajustes.
Como Frank afirma, “Não se trata da resposta.” Trata-se da pergunta. “É isso que o Agent Analytics nos ajuda a ver: o que as pessoas estão tentando fazer e para onde ir em seguida.”
A Pushpay também conectou os Guias Pendo a eventos de thumbs up/down para capturar feedback em tempo real e educar os usuários de forma proativa.
“Os dados do prompt dizem o que eles querem.” As repetições mostram o que eles fizeram. “Juntos, eles são incrivelmente poderosos”, explicou Frank. “Você vê exatamente o que o usuário fez, qual foi o resultado e se correspondeu à sua intenção.” Isso nos ajuda a definir o sucesso e a corrigir o que não está funcionando."
Com a voz e o comportamento reais do usuário agora incorporados em suas decisões, a Pushpay transformou seu agente de busca de um projeto piloto arriscado em um padrão de produto repetível e confiável, e construiu uma base mais sólida para cada agente futuro.
“É quase como dar um passeio com seus dados.” O Agent Analytics nos mantém focados no que realmente está acontecendo—o que os usuários estão fazendo, o que eles estão perguntando. “Esse hábito de fazer contato diariamente agora é fundamental para o nosso processo.”
Paul Frank, Gerente de Produto Staff, Pushpay
👉 Comece agora mesmo com Agent Analytics gratuito, ou solicite uma demonstração hoje mesmo.
