Quando a IA se torna uma experiência central do produto, medir o sucesso fica mais difícil
As the only AI-powered unified public affairs platform, Quorum helps nonprofits, associations, corporations, and advocacy organizations track legislation, manage stakeholders, coordinate grassroots campaigns, and build data-driven policy strategies.
Software
201-1k
Washington, District of Columbia
Quorum's team had a successful agent, but understanding the data with the right context required too many tools and manual processes. They wanted to understand how AI engagement connected to broader customer behavior.
Using Agent Analytics, product teams could immediately see agent conversations, usage trends, retention data, and emerging themes alongside their broader product analytics.
Agent insights helped Quorum prioritize new capabilities and showed a 63.5% stickiness rate of their agent usage which validates future investments in AI.
Para a Quorum, a IA não é um experimento. É um investimento estratégico que molda o futuro do software de relações governamentais.
Como a única plataforma unificada de assuntos públicos com tecnologia de IA, a Quorum ajuda organizações sem fins lucrativos, associações, empresas e organizações de defesa a acompanhar legislações, gerenciar partes interessadas, coordenar campanhas de base e construir estratégias de políticas baseadas em dados. Seus clientes dependem da plataforma para entender cenários políticos complexos, influenciar resultados, e tomar decisões informadas com mais rapidez.
Para ajudar os clientes a navegar por milhões de pontos de dados de assuntos públicos, a Quorum lançou o Quincy, sua IA patenteada.
Treinado no conjunto de dados proprietário da Quorum, o Quincy permite que os usuários façam perguntas em linguagem natural como "Qual é o sentimento entre os partidos sobre essa questão?" ou "O que essa ordem executiva significa para o meu negócio?" Ele pode analisar legislação, revelar insights, apoiar pesquisas de políticas públicas e simplificar fluxos de trabalho críticos.
"Não apenas adicionamos recursos de IA à nossa plataforma. Reconstruímos a forma como o trabalho de assuntos governamentais é realizado", disse Melissa Wood, Gerente Sênior de Produto da Quorum. "Nossos clientes foram os primeiros neste setor a ter um assistente de IA que funciona em todo o seu fluxo de trabalho, e ele extrai dados que passamos anos construindo: cada projeto de lei, cada votação, cadaparte interessada. Isso devolve aos nossos clientes o tempo para o trabalho que mais importa: construir relacionamentos e moldar estratégias.»À medida que o Quincy se tornou mais central para a experiência do cliente, Wood e sua equipe enfrentaram um novo desafio: entender se os usuários estavam realmente obtendo valor com ele.
Antes de adotar o Pendo Agent Analytics, a Quorum dependia de uma variedade de ferramentas para responder a perguntas básicas sobre o Quincy.
A equipe rastreou entradas e saídas dos agentes por meio de eventos de rastreamento do Pendo, exportou dados para o Google Sheets, usou o OpenAI para classificar interações, visualizou os resultados no Looker Studio e contou com o Datadog para rastreabilidade.
O processo funcionava — mas apenas com um esforço manual significativo.
"Foi um processo complexo e muito demorado tentar descobrir todas as diferentes interações conversacionais que nossos usuários teriam", disse Wood.
O maior desafio da equipe não era a falta de dados. Era a falta de contexto.
Os dados de uso do Agent ficavam separados do restante das análises de produto da Quorum, dificultando a compreensão de como o engajamento com IA se conectava ao comportamento mais amplo dos clientes.
Gerentes de produto e designers não conseguiam acessar insights facilmente por conta própria, e temas ou problemas emergentes frequentemente permaneciam ocultos até que alguém os descobrisse manualmente.
Enquanto isso, a liderança queria respostas para perguntas cada vez mais importantes:
Responder a essas perguntas exigia muito tempo e muitos sistemas.
A Quorum adotou o Pendo Agent Analytics para trazer insights de IA para o mesmo ambiente onde as equipes já compreendiam o comportamento dos clientes.
Em vez de unir vários sistemas de relatórios, as equipes de produto podiam ver imediatamente as conversas dos agentes, tendências de uso, dados de retenção e temas emergentes ao lado de suas análises de produto mais amplas.
Para Wood, uma das maiores vantagens era a acessibilidade.
"Posso obter insights imediatamente quando adicionamos uma nova capacidade ao agente", ela disse. "Não preciso ajustar manualmente nenhum prompt. Ele já está me trazendo insights."
Como o Quincy atende usuários em sete áreas principais de produto, a visibilidade centralizada era especialmente importante. Gerentes de produto e designers em toda a organização podiam agora explorar o comportamento do agente de forma independente, sem depender de fluxos de trabalho de relatórios especializados.
A equipe obteve visibilidade sobre:
O que antes exigia várias ferramentas passou a estar disponível por meio de um único fluxo de trabalho.
A visibilidade adicional revelou rapidamente oportunidades que a Quorum não teria identificado apenas por meio de análises tradicionais.
Um insight surpreendente foi que muitos usuários inicialmente chegavam ao Quincy com perguntas simples de central de ajuda, sem perceber que ele poderia fazer muito mais. O Quincy pode recuperar histórico legislativo, resumir atividades de partes interessadas e preparar um briefing completo de reunião, mas o primeiro instinto da maioria das pessoas era fazer uma pergunta simples.
Em vez de encarar esse comportamento como um problema, a Quorum expandiu as capacidades do agente para responder a essas perguntas também.
A equipe também descobriu que alguns usuários não percebiam que o Quincy era alimentado por IA. Outros dependiam de prompts repetitivos que mal arranhavam a superfície do que o Quincy poderia fazer.
Essas descobertas levaram a Quorum a investir em um onboarding mais sólido, melhores orientações e experiências de IA mais proativas que reduzem a necessidade de prompts complexos.
"O que se destaca é o quanto o Quincy pode fazer além do que a maioria das pessoas percebe", disse Wood. "Os usuários chegam com perguntas rápidas e simples, e esse é um ótimo ponto de partida. Meu foco agora é garantir que eles descubram tudo mais que ele pode tirar do prato deles, porque a capacidade já está lá."
Hoje, a Quorum avalia o Quincy da mesma forma que avalia qualquer experiência de produto crítica: medindo a adoção, identificando atritos e comprovando o impacto nos negócios.
A equipe compara regularmente usuários de IA e não usuários de IA, estuda tendências de retenção e analisa como o engajamento com o Quincy influencia a adoção mais ampla da plataforma.
Uma área de particular interesse é entender como os usuários avançados impulsionam a tecnologia de novas maneiras.
"Temos alguns usuários avançados que estão realmente explorando os limites da IA", explicou Wood. "Isso tem sido uma mina de ouro de informações para nossa equipe."
Esses insights ajudam a Quorum a priorizar novas funcionalidades, aprimorar experiências existentes e validar investimentos futuros em IA.
Os resultados são encorajadores. O Quincy alcançou uma taxa de fidelização semanal/mensal (WAU/MAU) de 63,5%, demonstrando um forte engajamento contínuo entre os clientes que utilizam o assistente.
Para a Quorum, relatórios confiáveis e automatizados tornaram-se uma parte essencial para escalar a IA com sucesso.
"Relatórios automatizados e informativos são fundamentais para construir a confiança da liderança no investimento em produto", disse Wood.
À medida que a Quorum continua expandindo sua estratégia de IA, o Quincy evoluiu de um assistente conversacional para um ecossistema mais amplo de experiências agênticas.
A empresa continua expandindo sua linha de agentes de IA, que agora lidam com partes essenciais do dia a dia de um profissional de assuntos governamentais, desde a preparação de reuniões até a tomada de notas e fluxos de trabalho conectados ao calendário. Agentes adicionais já estão em desenvolvimento.
Para Wood, as lições aprendidas com o Quincy vão além das capacidades de IA do Quorum. Compreender o comportamento do usuário requer visibilidade sobre toda a interação e seu contexto. Escalar a IA requer ferramentas criadas especificamente para isso, que identifiquem automaticamente padrões e insights. E quanto mais as equipes podem se concentrar na inovação em vez de na sobrecarga de relatórios, o mais rápido eles podem entregar valor aos clientes.
"Todo agente que construímos começa com uma pergunta do dia a dia dos nossos clientes", disse Wood. "O que eles estão fazendo manualmente que um agente deveria estar fazendo por eles? A resposta deles se torna nosso roteiro, e o tempo deles volta para o trabalho que só eles podem fazer."
Com o Pendo Agent Analytics, a Quorum tem a visibilidade necessária para entender a adoção, descobrir oportunidades e escalar com confiança a próxima geração de experiências impulsionadas por IA.