Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Information Services
When Thomson Reuters’ tax and accounting division built a new artificial intelligence (AI) and machine learning (ML)-powered search engine for their Checkpoint Edge platform, they knew it would dramatically change how users engaged with their service. But they needed a way to understand how people were interacting with this new functionality so they could continue to improve the relevancy of the tool’s search suggestions—and the content behind them.
Thomson Reuters leveraged track events in Pendo to get insight into three critical stages of a user’s search experience, then correlated their findings with user NPS scores. This gave them a complete picture of the feature’s performance and how it was impacting user sentiment.
By using Pendo, the Thomson Reuters team has helped democratize usage data for this feature beyond their data science teams—encouraging non-technical stakeholders to learn about the user journey, empowering editors to better understand user search intent, and ultimately improving the product’s AI / ML capabilities and the relevance of the content being served.
Para nosotros, hacer Pendo significa resolver los puntos de dolor de los usuarios en torno al seguimiento de orientación, la experimentación o la concientización. También incorporamos analíticas en cada historia de usuario que escribimos, por lo que siempre hay un componente de seguimiento de métricas que integramos a través de Pendo.
Vinay Shukla, Gerente de producto, Thomson Reuters
En el mundo de las plataformas basadas en búsqueda, poner la información correcta en manos de los usuarios en el momento adecuado siempre ha sido el objetivo principal. Y con tecnologías como el aprendizaje automático (ML) y la inteligencia artificial (IA) en auge, ofrecer contenido relevante a los usuarios nunca ha sido tan prioritario para las empresas, ni tan eficaz para generar diferenciación. Pero, ¿cómo pueden los líderes de producto medir con precisión —y, en última instancia, mejorar— la eficacia del ML / IA en casos de uso como estos?
Toda la plataforma de Thomson Reuters está construida sobre el poder de su funcionalidad de búsqueda. Su producto Checkpoint Edge permite a los profesionales de impuestos y contabilidad realizar investigaciones y encontrar la información que necesitan de manera rápida y eficiente. "Como plataforma de búsqueda, tenemos un cuadro de búsqueda donde los usuarios ingresan su terminología", dijo Vinay Shukla, ex propietario de producto en Thomson Reuters. "También tenemos una función llamada 'cuadro de sugerencias automáticas' que se despliega después de que el usuario comienza a ingresar sus términos [de búsqueda]. Desarrollamos capacidades de IA para comenzar a sugerir búsquedas recomendadas basadas en la entrada del usuario."
Shukla y su equipo necesitaban una forma de medir qué tan bien estaba funcionando esta función de sugerencia automática. Y también quería poder profundizar en los aspectos conductuales y psicológicos de cómo los usuarios interactuaban con la función de búsqueda del producto. "[Queríamos entender cosas como] cuándo un usuario detiene su entrada o sus pulsaciones de teclas, o cuándo un usuario entra y modifica una consulta que estamos sugiriendo", explicó Shukla. "Ese tipo de información es realmente valiosa para el mantenimiento futuro de nuestras capacidades de IA / ML, que requieren muchos de esos datos explícitos e implícitos."
Shukla y su equipo recurrieron a eventos de seguimiento en Pendo para capturar tres criterios clave diferentes en el proceso de búsqueda de un usuario: (1) las primeras entradas del usuario, tras las cuales deja de ingresar datos; (2) si el usuario seleccionó o no algo de las consultas del menú desplegable de sugerencias automáticas; y (3) la búsqueda final del usuario. "Con estas tres piezas de información, estamos comenzando a abrir un enorme mundo de análisis sobre si un usuario está modificando su consulta, y qué ingresa en ella", explicó Shukla.
Señaló que este enfoque de seguimiento triple permite a su equipo profundizar en los comportamientos de los usuarios para, en última instancia, informar y mejorar el rendimiento de sus algoritmos de ML / IA. "¿Dejaron de escribir? ¿Se dieron cuenta de que su pregunta ya estaba disponible para buscarla? [Los eventos de seguimiento] esencialmente nos dan una visión de qué tan bien está funcionando la [función de] sugerencia automática, y también nos permiten comenzar a ver cuánta información necesitó la IA de sugerencia automática para comenzar a mostrar preguntas sugeridas", dijo Shukla.
Shukla señaló que el seguimiento de eventos en Pendo ha sido una gran mejora con respecto a su metodología anterior, que no llegaba a rastrear el momento en que se actúa sobre la búsqueda de un usuario. "[Tener Pendo] ha sido brillante porque las personas no técnicas pueden descargar los datos del panel de Pendo y crear tablas dinámicas a partir de ellos. Ahora los no científicos de datos pueden realizar análisis muy rápidos", dijo.
La capacidad de rastrear estos eventos y comprender la participación de los usuarios también ha sido enormemente beneficiosa para el equipo editorial de Thomson Reuters. "Tenemos editores que crean contenido para nuestra plataforma internamente", explicó Shukla. "Han sido enormemente empoderados para analizar y examinar qué tipos de consultas están realizando los usuarios. Si en realidad ayudaron a curar algunas de esas consultas, ahora pueden ver retroalimentación sobre qué alternativas están buscando los usuarios también. Así que ha habido un gran empoderamiento a través de este evento de seguimiento en particular."
Shukla y su equipo ahora aprovechan estos eventos rastreados para medir el éxito y mejorar la funcionalidad del producto Checkpoint Edge. "Si un usuario selecciona contenido del menú desplegable, entonces esa función es un éxito", explicó. "Ha creado muchas oportunidades para que analicemos los tipos de consultas que nuestros usuarios realmente ingresan en comparación con lo que podrían haber visto en el menú desplegable. Es una oportunidad para que determinemos si necesitamos mejorar la función o volver a empezar desde cero si las consultas están arrojando información irrelevante."
Correlacionar los comentarios de los usuarios con análisis también ha añadido una capa más profunda de contexto a la forma en que el equipo de Shukla mide el éxito de la función de sugerencia automática. Al crear un segmento de usuarios que han completado un evento rastreado específico, luego generar un informe de Net Promoter Score (NPS) informe de esos usuarios y compararlo con un segmento que no ha interactuado con el evento rastreado, puede comprender mejor el impacto que la función tiene en el sentimiento de los usuarios. "Era realmente importante para nosotros ver las tendencias de cómo las personas estaban reaccionando en términos de NPS con esta función", explicó Shukla.
Finalmente, Shukla señaló que la facilidad de extracción de datos de Pendo ha sido un gran logro. "El mayor beneficio es poder poner esos datos sin procesar frente a las personas que realizan el trabajo", dijo. "No se necesita mucho esfuerzo ni una curva de aprendizaje enorme para extraer los datos y filtrar las consultas que están en tendencia en el mercado en este momento, especialmente cuando se trata de saber qué están buscando nuestros usuarios."
Descubre cómo Pendo puede comenzar a generar valor para tu organización desde el día 1
