Pushpay empodera a las organizaciones basadas en una misión para que involucren a sus comunidades, reuniendo a las personas y fomentando conexiones significativas. Nuestro innovador conjunto de productos ayuda a crear culturas de generosidad al agilizar las donaciones, mejorar la comunicación y fortalecer las relaciones.
Software
201-1k
NA
Redmond, Washington
Pushpay introdujo un agente de búsqueda en lenguaje natural para ayudar a los administradores de iglesias a encontrar datos de forma más intuitiva, lo que en última instancia les permite conectar e interactuar con sus personas de manera más eficaz. Pero tras el lanzamiento, el equipo de producto no tenía una forma clara de medir si estaba funcionando. Dependían de los ingenieros para extraer registros de indicaciones, recopilar resultados JSON y se esforzaban por comprender lo que los usuarios solicitaban o por qué abandonaban a mitad del proceso.
Pushpay implementó Pendo Agent Analytics durante la fase beta del lanzamiento del agente, lo que proporcionó al equipo una visibilidad temprana del comportamiento de las indicaciones, los puntos de fricción y los casos de uso emergentes. Hicieron un seguimiento de la frustración de los usuarios, detectaron patrones de consulta inesperados y utilizaron reproducciones para comprender exactamente dónde y por qué los usuarios abandonaban.
El equipo obtuvo una visibilidad completa de las indicaciones y los comportamientos de los usuarios, identificó los umbrales de fatiga de las indicaciones y descubrió las necesidades emergentes. Esto impulsó el ajuste de indicaciones, mejoras en los filtros, rediseños de la experiencia y formación de los usuarios. Con datos claros y ciclos de retroalimentación más ajustados, Pushpay transformó el agente en una experiencia escalable y confiable que ayuda a los usuarios a encontrar información en menos de diez segundos (reduciendo el tiempo de uno a dos minutos).
Pushpay desarrolla software para la gestión de donantes y la administración de iglesias destinado a organizaciones basadas en la fe. Sus principales usuarios son el personal administrativo de la iglesia que gestiona las donaciones, los eventos y los registros de los miembros. En 2025, el equipo lanzó un agente de búsqueda en lenguaje natural que permite a los usuarios consultar sus datos de personas utilizando un lenguaje conversacional en lugar de navegar por casi 200 filtros.
La visión era clara: empoderar a todos los usuarios, no solo a los usuarios avanzados. Pero una vez en funcionamiento, no estaba claro qué funcionaba y qué fallaba. «Estábamos usando logs» «Los ingenieros nos estaban mostrando JSON», explicó Paul Frank, gerente principal de producto en Pushpay. «Intentábamos descifrar lo que la gente preguntaba». «Como gestor de proyectos, eso es difícil».
Antes de Agent Analytics, el equipo dependía de una telemetría improvisada y de la intuición. Tras lanzar Agent Analytics, todo cambió.
El primer patrón era difícil de ignorar: un gran grupo de usuarios enviaron tres o cuatro prompts y luego dejaron de utilizar la función. Agent Analytics hizo evidente este descenso. Ayudó al equipo a identificar el punto conflictivo y a perfeccionar la experiencia para que los usuarios alcanzaran el valor más rápido.
En cuestión de días, también observaron consultas inesperadas que revelaron nuevas necesidades y una clara brecha entre los usuarios avanzados (con 50 a más de 100 prompts) y todos los demás.
"Teníamos una gran cantidad de usuarios que alcanzaban ese límite de tres o cuatro prompts y luego abandonaban. Agent Analytics nos ayudó a identificar este problema y a determinar cómo mejorar la orientación o perfeccionar los prompts."
Paul Frank, gerente principal de producto, Pushpay
Utilizaron esta información para ajustar las respuestas a los prompts, mejorar la transparencia de los resultados y replantearse cómo guiaban a los usuarios a través de las consultas iniciales.
La categorización de los prompts invirtió las expectativas iniciales de Pushpay. Al principio, el equipo pensaba que tenían una idea clara de lo que los usuarios iban a preguntar. En cambio, Agent Analytics mostró una amplia gama de consultas, muchas de ellas válidas, pero sin soporte.
«Cada día es una sorpresa», dijo Frank. «Estamos viendo que nuestros usuarios hacen preguntas al agente que nunca pensamos que podríamos responder, pero en muchos casos, podemos hacerlo». «Eso ha sido muy importante para priorizar la hoja de ruta».
En algunos casos, los usuarios hacían preguntas que estaban totalmente respaldadas por la plataforma, pero los filtros no se mostraban fácilmente. Esta idea llevó al equipo a rediseñar las inferencias de prompts, mejorar la forma en que se etiquetaban los filtros y replantearse cómo se presentaban los resultados.
Utilizando casos de uso emergentes y rastreados, el equipo ha optimizado continuamente su agente para adaptarlo mejor a la forma en que los usuarios realmente realizan sus búsquedas.
Hoy en día, Pendo Agent Analytics es fundamental para el ciclo de vida de los agentes de Pushpay. El equipo revisa diariamente las métricas a nivel de prompts, los rage prompts y los datos de repetición para comprender la fricción, perfeccionar la ingeniería de prompts y validar qué se considera el éxito.
Supervisan diariamente los rage prompts para detectar fallos de forma temprana, hacen un seguimiento de los temas de los prompts para identificar casos de uso en tendencia y señalan comportamientos fuera del guion que indican dónde es necesario ajustar el agente.
Como dice Frank: «No se trata de la respuesta». Se trata de la pregunta. Eso es lo que Agent Analytics nos ayuda a ver—lo que la gente está tratando de hacer y hacia dónde ir a continuación.
Pushpay también conectó Pendo Guides con eventos de pulgar hacia arriba / abajo para capturar comentarios en el momento y educar a los usuarios de manera proactiva.
«Los datos de los prompts te dicen lo que quieren.» Las repeticiones te muestran lo que hicieron. «Juntos, son increíblemente poderosos», explicó Frank. «Ves exactamente lo que hizo el usuario, cuál fue el resultado y si coincidió con su intención». «Nos ayuda a definir el éxito y a arreglar lo que no funciona».
Al incorporar la voz y el comportamiento reales de los usuarios en su proceso de toma de decisiones, Pushpay ha transformado su agente de búsqueda, pasando de ser un proyecto piloto arriesgado a un modelo de producto repetible y fiable, y ha sentado una base más sólida para cada agente futuro.
“Es casi como dar un paseo con tus datos.” Agent Analytics nos mantiene al tanto de lo que realmente está sucediendo—lo que hacen los usuarios, lo que preguntan. «Esa costumbre de comprobarlo a diario es ahora fundamental en nuestro proceso.»
Paul Frank, gerente principal de producto, Pushpay
👉 Empieza con Agent Analytics de forma gratuita, o solicita una demostración hoy mismo.
