Quand l'IA devient une expérience produit centrale, mesurer le succès devient plus difficile
As the only AI-powered unified public affairs platform, Quorum helps nonprofits, associations, corporations, and advocacy organizations track legislation, manage stakeholders, coordinate grassroots campaigns, and build data-driven policy strategies.
Software
201-1k
Washington, District of Columbia
Quorum's team had a successful agent, but understanding the data with the right context required too many tools and manual processes. They wanted to understand how AI engagement connected to broader customer behavior.
Using Agent Analytics, product teams could immediately see agent conversations, usage trends, retention data, and emerging themes alongside their broader product analytics.
Agent insights helped Quorum prioritize new capabilities and showed a 63.5% stickiness rate of their agent usage which validates future investments in AI.
Pour Quorum, l'IA n'est pas une expérience. C'est un investissement stratégique qui façonne l'avenir des logiciels d'affaires publiques.
En tant que seule plateforme unifiée d'affaires publiques alimentée par l'IA, Quorum aide les organisations à but non lucratif, les associations, les entreprises et les organisations de plaidoyer à suivre la législation, à gérer les parties prenantes, à coordonner des campagnes de base et à élaborer des stratégies politiques fondées sur les données. Ses clients s'appuient sur la plateforme pour comprendre des paysages politiques complexes, influencer les résultats, et prendre des décisions éclairées plus rapidement.
Pour aider ses clients à naviguer parmi des millions de données sur les affaires publiques, Quorum a lancé Quincy, son IA brevetée.
Entraîné sur le jeu de données propriétaire de Quorum, Quincy permet aux utilisateurs de poser des questions en langage naturel telles que « Quel est le sentiment entre les partis sur cette question ? » ou « Que signifie cet décret exécutif pour mon entreprise ? » Il peut analyser la législation, faire émerger des informations, soutenir la recherche en matière de politiques publiques et rationaliser les flux de travail critiques.
"Nous n'avons pas simplement ajouté des fonctionnalités d'IA à notre plateforme. Nous avons repensé la façon dont le travail des affaires gouvernementales est accompli," a déclaré Melissa Wood, Directrice Produit Senior chez Quorum. "Nos clients ont été les premiers dans ce domaine à disposer d'un assistant IA qui fonctionne à travers l'ensemble de leur flux de travail, et il s'appuie sur des données que nous avons passé des années à construire : chaque projet de loi, chaque vote, chaquepartie prenante. Cela permet à nos clients de récupérer du temps pour ce qui compte le plus : nouer des relations et définir une stratégie. »Au fur et à mesure que Quincy est devenu plus central dans l'expérience client, Wood et son équipe ont été confrontés à un nouveau défi : comprendre si les utilisateurs en tiraient réellement de la valeur.
Avant d'adopter Pendo Agent Analytics, Quorum s'appuyait sur une variété d'outils pour répondre aux questions de base sur Quincy.
L'équipe a suivi les entrées et sorties des agents via les événements de suivi Pendo, exporté les données dans Google Sheets, utilisé OpenAI pour classifier les interactions, visualisé les résultats dans Looker Studio, et s'est appuyée sur Datadog pour la traçabilité.
Le processus fonctionnait — mais uniquement avec un effort manuel considérable.
« C'était un processus complexe et vraiment chronophage d'essayer de comprendre toutes les différentes interactions conversationnelles que nos utilisateurs auraient », a déclaré Wood.
Le plus grand défi de l'équipe n'était pas un manque de données. C'était un manque de contexte.
Les données d'utilisation d'Agent vivaient séparément du reste des analyses produit de Quorum, ce qui rendait difficile la compréhension de la façon dont l'engagement avec l'IA était lié au comportement plus large des clients.
Les chefs de produit et les designers ne pouvaient pas accéder facilement aux informations par eux-mêmes, et les tendances ou problèmes émergents restaient souvent cachés jusqu'à ce que quelqu'un les découvre manuellement.
Pendant ce temps, la direction souhaitait des réponses à des questions de plus en plus importantes :
Répondre à ces questions nécessitait trop de temps et trop de systèmes.
Quorum a adopté Pendo Agent Analytics pour intégrer les insights IA dans le même environnement où les équipes comprenaient déjà le comportement des clients.
Au lieu d'assembler plusieurs systèmes de reporting, les équipes produit pouvaient immédiatement voir les conversations des agents, les tendances d'utilisation, les données de rétention et les thèmes émergents aux côtés de leurs analyses produit plus larges.
Pour Wood, l'un des plus grands avantages était l'accessibilité.
« Je peux obtenir des informations immédiatement si nous ajoutons une nouvelle fonctionnalité à l'agent », a-t-elle déclaré. « Je n'ai pas besoin d'ajuster manuellement les invites. Les informations me sont déjà présentées. »
Parce que Quincy sert des utilisateurs dans sept domaines de produits principaux, une visibilité centralisée était particulièrement importante. Les chefs de produit et les designers de l'organisation pouvaient désormais explorer de manière indépendante le comportement des agents sans dépendre de workflows de reporting spécialisés.
L'équipe a obtenu une visibilité sur :
Ce qui nécessitait auparavant plusieurs outils est devenu accessible via un seul flux de travail.
La visibilité supplémentaire a rapidement révélé des opportunités que Quorum n'aurait pas identifiées par le biais d'analyses traditionnelles seules.
Un résultat surprenant a été que de nombreux utilisateurs venaient initialement à Quincy avec de simples questions de centre d'aide, sans réaliser qu'il pouvait faire bien plus. Quincy peut extraire l'historique législatif, résumer l'activité des parties prenantes et préparer un compte rendu complet de réunion, mais le premier réflexe de la plupart des gens était de lui poser une petite question.
Plutôt que de considérer ce comportement comme un problème, Quorum a élargi les capacités de l'agent pour répondre à ces questions également.
L'équipe a également découvert que certains utilisateurs ne réalisaient pas que Quincy était alimenté par l'IA. D'autres s'appuyaient sur des invites répétitives qui n'effleuraient que la surface de ce que Quincy pouvait faire.
Ces résultats ont conduit Quorum à investir dans un onboarding plus solide, de meilleures orientations et des expériences d'IA plus proactives qui réduisent le besoin de prompts complexes.
« Ce qui est remarquable, c'est tout ce que Quincy peut faire, bien plus que la plupart des gens ne le réalisent », a déclaré Wood. « Les utilisateurs arrivent avec des questions rapides et simples, et c'est un excellent point de départ. Mon objectif maintenant est de m'assurer qu'ils découvrent tout ce qu'il peut leur enlever des mains, car la capacité est déjà là. »
Aujourd'hui, Quorum évalue Quincy de la même manière qu'il évalue toute expérience produit critique : en mesurant l'adoption, en identifiant les points de friction et en prouvant l'impact sur l'activité.
L'équipe compare régulièrement les utilisateurs de l'IA et les non-utilisateurs, étudie les tendances de rétention et analyse la façon dont l'engagement avec Quincy influence l'adoption plus large de la plateforme.
Un domaine d'intérêt particulier est de comprendre comment les utilisateurs avancés poussent la technologie de nouvelles façons.
« Nous avons des utilisateurs avancés qui repoussent vraiment les limites de l'IA », a expliqué Wood. « Cela a été une mine d'informations pour notre équipe. »
Ces informations aident Quorum à prioriser de nouvelles fonctionnalités, à améliorer les expériences existantes et à valider les futurs investissements dans l'IA.
Les résultats sont encourageants. Quincy a atteint un taux de fidélisation hebdomadaire/mensuel (WAU/MAU) de 63,5 %, démontrant un engagement continu fort parmi les clients qui utilisent l'assistant.
Pour Quorum, des rapports fiables et automatisés sont devenus un élément essentiel pour réussir à faire évoluer l'IA.
« Les rapports automatisés et informatifs sont essentiels pour renforcer la confiance des dirigeants dans l'investissement produit », a déclaré Wood.
Alors que Quorum continue d'élargir sa stratégie en matière d'IA, Quincy a évolué au-delà d'un assistant conversationnel pour devenir un écosystème plus large d'expériences agentiques.
La société continue d'élargir sa gamme d'agents IA, qui prennent désormais en charge des aspects essentiels du quotidien d'un professionnel des affaires gouvernementales, de la préparation des réunions à la prise de notes et aux flux de travail connectés au calendrier. Des agents supplémentaires sont déjà en cours de développement.
Pour Wood, les leçons tirées de Quincy vont au-delà des capacités d'IA de Quorum. Comprendre le comportement des utilisateurs nécessite une visibilité sur l'intégralité de l'interaction et de son contexte. Faire évoluer l'IA à grande échelle requiert des outils dédiés qui font automatiquement remonter les tendances et les insights. Et plus les équipes peuvent se concentrer sur l'innovation plutôt que sur la charge liée aux rapports, plus vite ils peuvent apporter de la valeur à leurs clients.
« Chaque agent que nous construisons part d'une question issue du quotidien de nos clients », a déclaré Wood. « Que font-ils manuellement qu'un agent devrait faire à leur place ? Leur réponse devient notre feuille de route, et leur temps est restitué aux tâches que seuls ils peuvent accomplir. »
Avec Pendo Agent Analytics, Quorum dispose de la visibilité nécessaire pour comprendre l'adoption, identifier les opportunités et faire évoluer en toute confiance la prochaine génération d'expériences propulsées par l'IA.