Pushpay ermöglicht es missionsorientierten Organisationen, ihre Gemeinschaften einzubinden, indem es Personen zusammenbringt und sinnvolle Verbindungen fördert. Unsere innovative Suite von Produkten trägt dazu bei, eine Kultur der Großzügigkeit zu schaffen, indem sie Spenden vereinfacht, die Kommunikation verbessert und Beziehungen stärkt.
Software
201-1k
NA
Redmond, Washington
Pushpay hat einen Suchagenten für natürliche Sprache eingeführt, der Kirchenverwaltern hilft, Daten intuitiver zu finden, was ihnen letztendlich ermöglicht, effektiver mit ihren Personen in Kontakt zu treten und sie einzubinden. Nach der Markteinführung hatte das Produktteam jedoch keine klare Methode, um zu messen, ob es funktionierte. Sie waren darauf angewiesen, dass Ingenieure die Aufforderungsprotokolle extrahierten, JSON-Ausgaben zusammenfügten und hatten Mühe zu verstehen, was die Benutzer fragten oder warum sie mitten im Vorgang abbrachen.
Pushpay setzte Pendo Agent Analysen bereits in der Beta-Phase der Agenteneinführung ein und verschaffte dem Team dadurch einen frühen Einblick in das Aufforderungsverhalten, in Reibungspunkten und in neu auftretende Anwendungsfälle. Sie verfolgten die Frustration der Benutzer, deckten unerwartete Suchmuster auf und nutzten Wiedergaben, um genau zu verstehen, wo und warum die Benutzer abgebrochen haben.
Das Team erlangte vollständigen Einblick in Benutzeraufforderungen und -verhalten, identifizierte Schwellenwerte für die Ermüdung durch Aufforderungen und deckte neu auftretende Benutzerbedürfnisse auf. Dies führte zu Prompt-Tuning, Filterverbesserungen, Neugestaltungen der Benutzererfahrung und Schulungen für die Benutzer. Mit klaren Daten und engeren Feedbackschleifen entwickelte Pushpay den Agenten zu einem skalierbaren, vertrauenswürdigen Erlebnis weiter, das Benutzern hilft, Informationen in weniger als zehn Sekunden zu finden (vorher ein bis zwei Minuten).
Pushpay entwickelt Software für Spenderbindung und Kirchenverwaltung für glaubensbasierte Organisationen. Die Hauptbenutzer sind die Verwaltungsmitarbeiter der Kirche, die Spenden, Veranstaltungen und Mitgliederdaten verwalten. Im Jahr 2025 brachte das Team einen Suchagenten für natürliche Sprache auf den Markt, der es den Benutzern ermöglicht, Daten zu Personen in natürlicher Sprache abzufragen, anstatt sich durch fast 200 Filter zu navigieren.
Die Vision war klar: Jeder Benutzer sollte befähigt werden, nicht nur Power-User. Doch nach der Inbetriebnahme war nicht klar, was funktionierte und was nicht. „Wir haben Protokolle verwendet. „Die Ingenieure zeigten uns JSON“, erklärte Paul Frank, leitender Produktmanager bei Pushpay. „Wir versuchten zu entschlüsseln, was die Personen fragten.“ Als Produktmanager ist das schwierig.
Vor Agent Analytics war das Team auf lückenhafte Telemetriedaten und sein Bauchgefühl angewiesen. Nach der Einführung von Agent Analytics änderte sich alles.
Das erste Muster war kaum zu übersehen: Eine große Gruppe von Benutzern reichte drei oder vier Prompts ein und hörte dann auf, die Funktion zu nutzen. Agent Analytics machte diesen Rückgang deutlich. Es half dem Team, den Knackpunkt zu identifizieren und das Benutzererlebnis zu optimieren, damit die Benutzer schneller einen Mehrwert erkennen.
Innerhalb weniger Tage entdeckten sie auch unerwartete Anfragen, die neue Bedürfnisse offenbarten, sowie eine deutliche Kluft zwischen Power-Usern (mit 50–100+ Prompts) und allen anderen.
„Wir hatten eine große Kohorte von Benutzern, die nach drei oder vier Prompts aufhörten.“ Agent Analytics half uns, dieses Problem zu identifizieren und herauszufinden, wie wir die Anleitungen verbessern oder die Prompts verfeinern können.“
Paul Frank, Leitender Produktmanager bei Pushpay
Diese Erkenntnis nutzten sie, um die Antworten auf Prompts zu verfeinern, die Ergebnistransparenz zu verbessern und zu überdenken, wie sie die Benutzer durch die anfänglichen Anfragen führten.
Die Kategorisierung von Prompts stellte die anfänglichen Erwartungen von Pushpay auf den Kopf. Anfangs glaubte das Team, eine klare Vorstellung davon zu haben, was die Benutzer fragen würden. Stattdessen zeigte Agent Analytics eine Vielzahl von Abfragen, von denen viele zwar gültig, aber nicht unterstützt wurden.
„Jeder Tag birgt eine Überraschung“, sagte Frank. „Wir erleben, dass unsere Benutzer dem Agenten Fragen stellen, an deren Unterstützung wir nie gedacht hätten, aber in vielen Fällen können wir sie beantworten.“ Das war enorm wichtig für die Priorisierung der Roadmap.“
In einigen Fällen stellten die Benutzer Fragen, die von der Plattform voll unterstützt wurden, wobei die Filter nicht leicht zugänglich waren. Diese Erkenntnis veranlasste das Team, die Prompt-Schlussfolgerungen neu zu gestalten, die Kennzeichnung der Filter zu verbessern und die Ergebnisdarstellung zu überdenken.
Mithilfe sowohl neu auftretender als auch bereits erfasster Anwendungsfälle hat das Team seinen Agenten kontinuierlich optimiert, um ihn besser an das tatsächliche Suchverhalten der Benutzer anzupassen.
Heute ist Pendo Agent Analytics ein zentraler Bestandteil des Agentenlebenszyklus von Pushpay. Das Team überprüft täglich Kennzahlen auf Prompt-Ebene, Rage-Prompts und Wiedergabedaten, um Reibungsverluste zu verstehen, das Prompt-Engineering zu verfeinern und zu validieren, wie Erfolg aussieht.
Sie überwachen täglich Rage-Prompts, um Störungen frühzeitig zu erkennen, verfolgen die Themen der Prompts, um trendende Anwendungsfälle zu identifizieren, und kennzeichnen off-script Verhaltensweisen, die darauf hinweisen, wo der Agent nachjustiert werden muss.
Wie Frank es ausdrückt: „Es geht nicht um die Antwort.“ Es geht um die Frage. Genau das hilft uns, mit Agent Analytics zu erkennen, was die Personen versuchen zu tun und wohin sie als Nächstes gehen sollen.
Pushpay verknüpfte Pendo Anleitungen außerdem mit Daumen-hoch/Daumen-runter-Ereignissen, um direktes Feedback zu erfassen und die Benutzer proaktiv zu schulen.
„Prompt-Daten verraten Ihnen, was die Benutzer wollen.“ Die Wiedergabedaten zeigen Ihnen, was sie getan haben. „Zusammen sind sie wahnsinnig mächtig“, erklärte Frank. „Man sieht genau, was der Benutzer getan hat, was das Ergebnis war und ob es seiner Absicht entsprach.“ Es hilft uns, Erfolg zu definieren – und Dinge zu beheben, die nicht funktionieren.“
Da Pushpay nun die Stimme und das Verhalten der tatsächlichen Benutzer in seine Entscheidungsfindung einbezieht, hat das Unternehmen seinen Suchagenten von einem riskanten Pilotprojekt zu einem wiederholbaren, vertrauenswürdigen Produktmuster entwickelt und eine stärkere Grundlage für jeden zukünftigen Agenten geschaffen.
„Es ist fast so, als würde man mit seinen Daten spazieren gehen.“ Agent Analytics hilft uns dabei, den Bezug zur Realität nicht zu verlieren – was die Benutzer tun, wonach sie fragen. Diese Gewohnheit, sich täglich zu melden, ist mittlerweile ein zentraler Bestandteil unseres Prozesses.“
Paul Frank, Leitender Produktmanager bei Pushpay
👉 Legen Sie los mit Agent Analytics kostenlos, oder heute eine Demo erhalten.
