Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
When Thomson Reuters’ tax and accounting division built a new artificial intelligence (AI) and machine learning (ML)-powered search engine for their Checkpoint Edge platform, they knew it would dramatically change how users engaged with their service. But they needed a way to understand how people were interacting with this new functionality so they could continue to improve the relevancy of the tool’s search suggestions—and the content behind them.
Thomson Reuters leveraged track events in Pendo to get insight into three critical stages of a user’s search experience, then correlated their findings with user NPS scores. This gave them a complete picture of the feature’s performance and how it was impacting user sentiment.
By using Pendo, the Thomson Reuters team has helped democratize usage data for this feature beyond their data science teams—encouraging non-technical stakeholders to learn about the user journey, empowering editors to better understand user search intent, and ultimately improving the product’s AI / ML capabilities and the relevance of the content being served.
Para nós, fazer Pendo significa resolver os pontos de dor dos usuários em relação ao rastreamento de orientação, experimentação ou conscientização. Também incorporamos análises em cada história de usuário que escrevemos — portanto, há sempre um componente de rastreamento de métricas que integramos por meio do Pendo.
Vinay Shukla, Gerente de produto, Thomson Reuters
No mundo das plataformas baseadas em pesquisa, colocar a informação certa nas mãos dos usuários no momento certo sempre foi o objetivo principal. E com tecnologias como machine learning (ML) e inteligência artificial (IA) em ascensão, oferecer conteúdo relevante aos usuários nunca esteve tão em evidência para as empresas — nem foi tão eficaz para criar diferenciação. Mas como os líderes de produto podem medir com precisão — e, em última análise, melhorar — a eficácia do ML / IA em casos de uso como esses?
Toda a plataforma da Thomson Reuters é construída com base no poder de sua funcionalidade de busca. O produto Checkpoint Edge permite que profissionais de impostos e contabilidade realizem pesquisas e encontrem as informações de que precisam de forma rápida e eficiente. "Como uma plataforma de busca, temos uma caixa de pesquisa onde os usuários inserem sua terminologia", disse Vinay Shukla, ex-proprietário de produto da Thomson Reuters. "Também temos um recurso chamado 'caixa de sugestão automática' que aparece depois que o usuário começa a inserir seus termos [de pesquisa]. Desenvolvemos capacidades de IA para começar a sugerir pesquisas recomendadas com base na entrada do usuário."
Shukla e sua equipe precisavam de uma maneira de medir o desempenho desse recurso de sugestão automática. Ele também queria ser capaz de se aprofundar nos aspectos comportamentais e psicológicos de como os usuários interagiam com o recurso de pesquisa do produto. "[Queríamos entender coisas como] quando um usuário está interrompendo sua entrada ou seus pressionamentos de tecla, ou quando um usuário está modificando uma consulta que estamos sugerindo", explicou Shukla. "Esse tipo de informação é realmente ótimo para a manutenção futura de nossas capacidades de IA/ML, que exigem muitos desses dados explícitos e implícitos."
Shukla e sua equipe recorreram a track events no Pendo para capturar três critérios-chave diferentes no processo de busca de um usuário: (1) as primeiras entradas do usuário, após as quais ele para de inserir dados; (2) se o usuário selecionou ou não algo nas consultas do menu suspenso de sugestão automática; e (3) a busca final do usuário. "Com essas três informações, estamos começando a abrir um enorme universo de análise sobre se um usuário está modificando sua consulta — e o que ele coloca nessa consulta", explicou Shukla.
Ele observou que essa abordagem de rastreamento tríplice permite que sua equipe se aprofunde nos comportamentos dos usuários para, em última análise, informar e melhorar o desempenho de seus algoritmos de ML/IA. "Eles pararam de digitar? Eles perceberam que a pergunta já estava lá para ser pesquisada? Os [eventos de rastreamento] essencialmente nos dão uma visão de quão bem o [recurso de] sugestão automática está funcionando, e também nos permitem começar a ver quanta informação a IA de sugestão automática precisava para começar a exibir as perguntas sugeridas", disse Shukla.
Shukla observou que o rastreamento de eventos no Pendo foi uma grande melhoria em relação à metodologia anterior deles, que não chegava a rastrear o momento em que a busca de um usuário é colocada em prática. "Ter o Pendo foi brilhante porque pessoas não técnicas podem realmente extrair os dados do painel do Pendo e criar tabelas dinâmicas a partir deles. Análises realmente rápidas agora podem ser feitas por pessoas que não são cientistas de dados", disse ele.
A capacidade de rastrear esses eventos e entender o engajamento dos usuários também tem sido extremamente benéfica para a equipe editorial da Thomson Reuters. "Temos editores que produzem conteúdo para nossa plataforma internamente", explicou Shukla. "Eles foram muito capacitados para analisar e verificar que tipos de consultas os usuários estão inserindo. Se eles realmente ajudaram a curar algumas dessas consultas, agora conseguem ver o feedback sobre quais alternativas os usuários também estão pesquisando. Portanto, houve muito empoderamento por meio desse evento de rastreamento específico."
Shukla e sua equipe agora aproveitam esses eventos rastreados para medir o sucesso — e melhorar a funcionalidade — do produto Checkpoint Edge. "Se um usuário seleciona um conteúdo no menu suspenso, então esse recurso é um sucesso", ele explicou. "Isso criou muitas oportunidades para analisarmos os tipos de consultas que nossos usuários estão realmente inserindo em comparação com o que eles podem ter visto no menu suspenso. É uma chance de descobrirmos se precisamos aprimorar o recurso ou voltar à estaca zero caso as consultas estejam retornando informações irrelevantes."
Correlacionar o feedback dos usuários com análises também adicionou uma camada mais profunda de contexto à forma como a equipe de Shukla mede o sucesso do recurso de sugestão automática. Ao criar um segmento de usuários que concluíram um evento rastreado específico, gerar um relatório de Net Promoter Score (NPS) desses usuários e compará-lo a um segmento que não interagiu com o evento rastreado, ele consegue entender melhor o impacto que o recurso tem no sentimento dos usuários. Net Promoter Score (NPS) relatório desses usuários e comparando-o com um segmento que não interagiu com o evento rastreado, ele consegue entender melhor o impacto que o recurso tem no sentimento dos usuários. "Era muito importante para nós ver as tendências de como as pessoas estavam reagindo em termos de NPS com esse recurso", explicou Shukla.
Por fim, Shukla observou que a facilidade de extração de dados do Pendo tem sido uma grande vantagem. "O maior benefício é poder colocar esses dados brutos na frente das pessoas que estão fazendo o trabalho", disse ele. "Não exige muito esforço nem uma grande curva de aprendizado para baixar os dados e filtrar as consultas que estão em alta no mercado agora — especialmente quando se trata de saber o que nossos usuários estão pesquisando."
Veja como o Pendo pode começar a gerar valor para a sua organização no primeiro dia
