Wie Quorum eine KI-Nutzungstreue von 63,5 % erreichte

Wenn KI zu einem zentralen Produkterlebnis wird, wird die Erfolgsmessung schwieriger

Für Quorum ist KI kein Experiment. Es ist eine strategische Investition, die die Zukunft der Public-Affairs-Software gestaltet.

Als einzige KI-gestützte einheitliche Public-Affairs-Plattform hilft Quorum gemeinnützigen Organisationen, Verbänden, Unternehmen und Interessenvertretungen dabei, Gesetzgebungsvorhaben zu verfolgen, Stakeholder zu verwalten, Graswurzelkampagnen zu koordinieren und datengestützte politische Strategien zu entwickeln. Ihre Kunden verlassen sich auf die Plattform, um komplexe politische Landschaften zu verstehen, Ergebnisse zu beeinflussen, und fundierte Entscheidungen schneller zu treffen.

Um Kunden bei der Navigation durch Millionen von öffentlichen Datenpunkten zu unterstützen, hat Quorum Quincy eingeführt, seine patentierte KI.

Quincy wurde auf dem proprietären Datensatz von Quorum trainiert und ermöglicht es Nutzern, Fragen in natürlicher Sprache zu stellen, wie zum Beispiel: „Wie ist die Stimmung zwischen den Parteien zu diesem Thema?" oder „Was bedeutet diese Durchführungsverordnung für mein Unternehmen?" Es kann Gesetze analysieren, Erkenntnisse gewinnen, politische Recherchen unterstützen und wichtige Arbeitsabläufe optimieren.

"Wir haben unserer Plattform nicht einfach KI-Funktionen hinzugefügt. Wir haben die Art und Weise, wie die Arbeit im Bereich Government Affairs erledigt wird, neu gestaltet", sagte Melissa Wood, Senior Product Manager bei Quorum. "Unsere Kunden waren die Ersten in diesem Bereich, die einen KI-Assistenten hatten, der über ihren gesamten Workflow hinweg arbeitet, und er greift auf Daten zurück, die wir jahrelang aufgebaut haben: jede Gesetzesvorlage, jede Abstimmung, jedeStakeholder. Das gibt unseren Kunden ihre Zeit zurück für die Arbeit, die am wichtigsten ist: Beziehungen aufbauen und Strategie gestalten.„Als Quincy immer zentraler für das Kundenerlebnis wurde, stand Wood mit ihrem Team vor einer neuen Herausforderung: zu verstehen, ob die Nutzer tatsächlich einen Mehrwert daraus zogen.

Ein fragmentierter Prozess erschwerte die KI-Messung

Vor der Einführung von Pendo Agent Analytics stützte sich Quorum auf eine Vielzahl von Tools, um grundlegende Fragen zu Quincy zu beantworten.

Das Team verfolgte Agenteneingaben und -ausgaben über Pendo-Track-Events, exportierte Daten in Google Sheets, nutzte OpenAI zur Klassifizierung von Interaktionen, visualisierte Ergebnisse in Looker Studio und verließ sich auf Datadog für die Nachverfolgbarkeit.

Der Prozess funktionierte – jedoch nur mit erheblichem manuellem Aufwand.

„Es war ein komplexer Prozess und sehr zeitaufwändig, all die verschiedenen Gesprächsinteraktionen herauszufinden, die unsere Nutzer durchführen würden", sagte Wood.

Die größte Herausforderung des Teams war kein Mangel an Daten. Es war ein Mangel an Kontext.

Die Agent-Nutzungsdaten waren getrennt von den übrigen Produktanalysen von Quorum gespeichert, was es schwierig machte zu verstehen, wie die KI-Interaktion mit dem allgemeinen Kundenverhalten zusammenhing. 

Produktmanager und Designer konnten nicht einfach selbst auf Erkenntnisse zugreifen, und aufkommende Themen oder Probleme blieben oft verborgen, bis jemand sie manuell aufdeckte.

Gleichzeitig wollte die Führungsebene Antworten auf immer wichtiger werdende Fragen:

• Nehmen Kunden Quincy an?
• Welche Arten von Fragen stellen sie?
• Liefert der Agent qualitativ hochwertige Antworten?
• Wie wirkt sich die KI-Nutzung auf die allgemeine Produktakzeptanz und -bindung aus?
• Liefert unsere KI-Investition messbaren Mehrwert?

Die Beantwortung dieser Fragen erforderte zu viel Zeit und zu viele Systeme.

Agent Analytics in das umfassendere Produkterlebnis integrieren

Quorum hat Pendo Agent Analytics eingeführt, um KI-Erkenntnisse in dieselbe Umgebung zu bringen, in der Teams das Kundenverhalten bereits verstanden.

Anstatt mehrere Berichtssysteme zusammenzuführen, konnten Produktteams sofort Agentengespräche, Nutzungstrends, Bindungsdaten und aufkommende Themen neben ihren umfassenderen Produktanalysen einsehen.

Für Wood war einer der größten Vorteile die Zugänglichkeit.

„Ich bekomme sofort Einblicke, wenn wir dem Agenten eine neue Funktion hinzufügen", sagte sie. „Ich muss keine Prompts manuell anpassen. Die Erkenntnisse werden mir bereits angezeigt."

Da Quincy Nutzer in sieben zentralen Produktbereichen bedient, war eine zentrale Übersicht besonders wichtig. Produktmanager und Designer im gesamten Unternehmen konnten das Verhalten des Agenten nun eigenständig erkunden, ohne auf spezialisierte Reporting-Workflows angewiesen zu sein.

Das Team erhielt Einblick in:

• Akzeptanz und Bindung von Agenten im Verhältnis zur allgemeinen Produktnutzung
• Durchgängiges Kundenbindung mit Quincy
• Aufkommende Anwendungsfälle und Gesprächsmuster
• Neue Reibungspunkte und Verwirrung bei Nutzern
• Wie Agenteninteraktionen das allgemeine Plattformverhalten beeinflusst haben

Was zuvor mehrere Tools erforderte, wurde über einen einzigen Workflow verfügbar.

Herausfinden, was Benutzer wirklich brauchten

Die zusätzliche Transparenz enthüllte schnell Möglichkeiten, die Quorum allein durch herkömmliche Analysen nicht identifiziert hätte.

Eine überraschende Erkenntnis war, dass viele Nutzer zunächst mit einfachen Hilfecenter-Fragen zu Quincy kamen, ohne zu merken, dass es weit mehr leisten konnte. Quincy kann Gesetzgebungshistorien abrufen, Stakeholder-Aktivitäten zusammenfassen und eine vollständige Besprechungsunterlage vorbereiten – doch der erste Instinkt der meisten Menschen war, eine kleine Frage zu stellen.

Anstatt dieses Verhalten als Problem zu betrachten, erweiterte Quorum die Fähigkeiten des Agenten, um auch diese Fragen zu beantworten.

Das Team stellte außerdem fest, dass einige Nutzer gar nicht wussten, dass Quincy von KI angetrieben wird. Andere verließen sich auf repetitive Eingaben, die nur an der Oberfläche dessen kratzten, was Quincy leisten konnte.

Diese Erkenntnisse veranlassten Quorum, in ein stärkeres Onboarding, bessere Anleitungen und proaktivere KI-Erlebnisse zu investieren, die den Bedarf an komplexen Eingabeaufforderungen reduzieren.

„Was auffällt, ist, wie viel mehr Quincy kann, als die meisten Menschen ahnen", sagte Wood. „Nutzer kommen mit schnellen, einfachen Fragen herein, und das ist ein guter Ausgangspunkt. Mein Fokus liegt jetzt darauf, sicherzustellen, dass sie alles entdecken, was es ihnen abnehmen kann, denn die Fähigkeit ist bereits vorhanden."

Den Einfluss von KI-Investitionen nachweisen

Heute bewertet Quorum Quincy auf dieselbe Weise wie jede andere kritische Produkterfahrung: durch die Messung der Akzeptanz, die Identifizierung von Reibungspunkten und den Nachweis des Geschäftsnutzens.

Das Team vergleicht regelmäßig KI-Nutzer und Nicht-KI-Nutzer, untersucht Bindungstrends und analysiert, wie die Interaktion mit Quincy die breitere Plattformakzeptanz beeinflusst.

Ein besonders interessanter Bereich ist das Verständnis, wie Power-User die Technologie auf neue Weisen einsetzen.

„Wir haben einige Power-User, die die Grenzen der KI wirklich ausreizen", erklärte Wood. „Das war eine wahre Fundgrube an Informationen für unser Team."

Diese Erkenntnisse helfen Quorum dabei, neue Funktionen zu priorisieren, bestehende Erfahrungen zu verbessern und zukünftige Investitionen in KI zu validieren.

Die Ergebnisse sind ermutigend. Quincy hat eine wöchentliche/monatliche Nutzerbindungsrate (WAU/MAU) von 63,5 % erreicht, was ein starkes kontinuierliches Engagement der Kunden belegt, die den Assistenten nutzen.

Für Quorum ist zuverlässiges, automatisiertes Reporting zu einem wesentlichen Bestandteil der erfolgreichen Skalierung von KI geworden.

„Automatisierte und informative Berichterstattung ist der Schlüssel zum Aufbau von Führungsvertrauen in die Produktinvestition", sagte Wood.

Die nächste Generation der KI für öffentliche Angelegenheiten aufbauen

Da Quorum seine KI-Strategie weiter ausbaut, hat sich Quincy von einem konversationellen Assistenten zu einem umfassenderen Ökosystem agentischer Erfahrungen entwickelt.

Das Unternehmen erweitert kontinuierlich sein Angebot an KI-Agenten, die nun zentrale Aufgaben im Alltag eines Fachmanns für Regierungsangelegenheiten übernehmen – von der Besprechungsvorbereitung über die Protokollführung bis hin zu kalenderverbundenen Workflows. Weitere Agenten befinden sich bereits in der Entwicklung.

Für Wood gehen die Erkenntnisse aus Quincy über die KI-Fähigkeiten von Quorum hinaus. Das Verständnis des Nutzerverhaltens erfordert Einblick in die gesamte Interaktion und ihren Kontext. Die Skalierung von KI erfordert zweckgebundene Tools, die automatisch Muster und Erkenntnisse aufzeigen. Und je mehr Teams sich auf Innovation statt auf den Reporting-Aufwand konzentrieren können, desto schneller können sie ihren Kunden einen Mehrwert liefern.

„Jeder Agent, den wir entwickeln, beginnt mit einer Frage aus dem Alltag unserer Kunden", sagte Wood. „Was erledigen sie manuell, was ein Agent für sie übernehmen sollte? Ihre Antwort wird zu unserer Roadmap, und ihre Zeit fließt zurück in die Arbeit, die nur sie leisten können."

Mit Pendo Agent Analytics hat Quorum die nötige Transparenz, um die Akzeptanz zu verstehen, Chancen zu entdecken und die nächste Generation KI-gestützter Erlebnisse selbstbewusst zu skalieren.