Detrás del artículo: Kelly Paulson utiliza algoritmos para identificar oportunidades de aprendizaje en todas las unidades de negocio

Kelly Paulson consiguió trabajo en Amazon justo después de terminar sus estudios de posgrado. Había obtenido su doctorado en economía de la Universidad de California en San Diego y al principio vio el trabajo como "algo divertido" para hacer antes de dedicarse a otra cosa. Pero le gustó demasiado como para irse, y 11 años después, es Gerente Senior de Economistas y Científicos Aplicados en Amazon Ads. El artículo que coescribió, Multi-task combinatorial bandits for budget allocation, ganó el premio al mejor artículo en la conferencia AdKDD 2024. Aquí Kelly habla sobre el artículo y su trabajo en Amazon Ads.

Me uní al equipo de Amazon Kindle en 2013 cuando acababa de terminar mi tesis doctoral, y era el primer año en que Amazon reclutaba economistas junior recién salidos de la escuela de posgrado. Me atrajo la información. Había estado trabajando en técnicas estadísticas para aprender sobre cómo la gente toma decisiones y, por supuesto, Amazon ya tenía uno de los conjuntos de datos más grandes del mundo sobre la toma de decisiones de las personas.

En ese momento, tenía ofertas de trabajo en tecnología, gobierno y academia, y no esperaba quedarme en Seattle a largo plazo. Pero como estaba interesado en tener experiencia práctica con los abundantes datos de Amazon, pensé en posponer mis ofertas y hacer algo divertido durante un año. Para finales de ese año, me gustó mucho el trabajo y decidí quedarme. Quería moverme a una parte de Amazon donde hubiera más personas pensando en cómo extraer información de conjuntos de datos realmente grandes. Así que me trasladé a Amazon Ads como el primer científico en trabajar en medición.

Me enfoqué en entender cómo los clientes eran influenciados por los anuncios y cómo transmitir esa información a los sistemas de optimización publicitaria. Las señales únicas de Amazon son fundamentales para nuestra propuesta de valor. Cuando un comprador ve un anuncio de zapatos, ¿es más probable que compre esos zapatos? Si tenemos la oportunidad de mostrarle el mismo anuncio a un comprador similar mañana, ¿deberíamos hacerlo?

Pero una parte crítica de eso era cómo podíamos resumir los hallazgos de una manera que fuera útil para los anunciantes. ¿Podríamos hacer cálculos útiles del rendimiento de la inversión para ellos? ¿Qué podrían aprender sobre tus campañas de regreso a clases que podrían incorporar a tus campañas navideñas?

Eran los primeros días de pensar en cómo Amazon podría optimizar conjuntamente entre compradores y anunciantes, ayudando a los anunciantes a llevar contenido más útil a los compradores en el momento adecuado.

Mi formación es en teoría econométrica, con un enfoque particular en modelos causales en marketing cuantitativo. En los últimos años, me ha interesado mucho cómo desarrollar una señal causal y alimentarla a un conjunto más amplio de sistemas que toman decisiones de marketing.

Esa intersección entre la medición causal y el aprendizaje por refuerzo es algo muy único de Amazon. Tenemos una escala tan grande que necesitamos usar muchas herramientas como el aprendizaje por refuerzo para tomar decisiones. Somos una empresa que se basa mucho en los datos, y queremos tomar decisiones basadas en señales causales, no en señales correlacionales.

Otras compañías usualmente se enfocan en un lado o en el otro. La intersección es muy interesante y estará en todas partes en el futuro. Amazon está a la vanguardia en esa área.

Como es bastante común en la industria tecnológica, usamos las propias necesidades de Amazon para poner a prueba nuevos productos que eventualmente podríamos vender externamente. Estoy en la organización de Ads, pero trabajo en marketing para un conjunto diverso de negocios de Amazon fuera de Ads. Por ejemplo, podríamos querer aumentar el conocimiento de los streamers de contenido sobre una nueva serie de Prime Video o aumentar el conocimiento de los compradores sobre las ofertas de temporada.

Entonces mi equipo apoya a los negocios internos de Amazon utilizando los productos de Amazon Ads para cumplir sus objetivos de marketing. El equipo es diverso, cuenta con expertos en marketing que tienen relaciones cercanas con líderes empresariales, además de científicos e ingenieros. Juntos identificamos oportunidades para utilizar algoritmos en sistemas publicitarios y para ver patrones que otras personas no pueden ver.

La idea de este artículo fue ver si podíamos aprender algo al tener un algoritmo que analizara información entre diferentes productos. Demostramos que cuando utilizamos técnicas de aprendizaje por refuerzo, podemos esencialmente ayudar a que un producto tenga un mejor desempeño utilizando lo que otros productos han aprendido, y todo esto de una manera muy en tiempo real. Hemos estado ejecutando este algoritmo diariamente.

Digamos que ya tenemos un montón de campañas de marketing para diferentes dispositivos y luego vamos a lanzar un nuevo dispositivo para las fiestas. ¿Por dónde empezamos? Este algoritmo es una manera en la que podemos tomar lo que ya sabemos de otras campañas de marketing que hemos hecho para dispositivos existentes y comenzar la nueva campaña con una configuración optimizada.

Lo principal es que la mejora en el rendimiento es bastante alta. En la conferencia AdKDD, muchos de los otros artículos reportaron una mejora del 2% o 3% en la tasa de clics. Nuestra mejora en clics totales promedió un 18%. También mostramos una reducción del 12.7% en el costo por clic.

Esto demuestra que incluso cuando hay intención de coordinar productos, es realmente difícil, y existe una gran oportunidad de negocio en usar algoritmos como este para ayudar a que los productos aprendan sistemáticamente unos de otros. Los expertos en marketing de diferentes productos pueden compartir lo que han aprendido entre sí en sesiones de "almuerzo y aprendizaje" y desarrollar manuales de mejores prácticas, pero la coordinación entre personas es costosa, y es difícil mantener actualizados los conocimientos detallados en una industria que evoluciona rápidamente. Esta es una manera sistemática y basada en principios en la que las empresas pueden estar mejor coordinadas y ser más eficientes.

Incluso fuera de las empresas tecnológicas, hay muchas compañías grandes con necesidades complejas de marketing y presencia global. Pero gran parte de la literatura académica solo analiza partes aisladas del problema empresarial. Así que es emocionante que si eres una empresa con productos diversos, puedes lograr que diferentes partes de tu negocio trabajen todas en la misma dirección usando aprendizaje por refuerzo.

Tres estudiantes de posgrado dedicaron tiempo durante sus tesis doctorales para trabajar con nosotros como pasantes en este artículo. Y los tres recibieron ofertas de Amazon; dos ya empezaron, y uno va a comenzar a principios de este año.

Algo que realmente me gusta es la capacidad de convertir mis ideas en programas. A menudo estoy trabajando en un proyecto y me doy cuenta de que algo más era mucho más importante para el negocio. Tenemos un proceso donde escribes un comunicado de prensa hipotético y respondes algunas preguntas frecuentes —llamado PR/FAQ— sobre un futuro producto o programa que Amazon podría tener.

A través de eso, he tenido varias oportunidades para formular un problema que quiero resolver, pensar en la solución, redactarlo, compartir la idea con colegas, y crear estos nuevos productos impulsados por la ciencia. Es emocionante ver productos que ahora tienen equipos de 25 personas y saber que yo fui quien presentó el caso de negocio y consiguió el financiamiento inicial.

En mi puesto, puedo equilibrar las preguntas sobre cómo medimos el impacto de los anuncios en los clientes con la forma en que operamos nuestros sistemas de optimización que conducirán a mejores resultados para nuestros clientes. Cuando hablo con otras empresas, siento que están tratando de encasillarme; necesitan que yo mida algo o que administre un sistema de optimización. En Amazon, tengo la flexibilidad de operar en todo el espacio del problema y realmente pensar en cómo lograr el mejor resultado para los clientes, combinando los sistemas de optimización y los sistemas de medición.

Otra cosa única de los científicos aplicados aquí es que están enfocados en entregar software, no solo en hacer investigación. Están fabricando productos que son duraderos y que ayudan a resolver una necesidad comercial a largo plazo.

Mi equipo piensa todos los días en las necesidades publicitarias de Amazon, probamos productos publicitarios existentes a gran escala e identificamos oportunidades para mejorar. Debido a que Amazon es uno de los anunciantes más grandes del mundo, aprendemos mucho. No estamos tratando de vender productos publicitarios existentes; estamos buscando formas de mejorarlos. Esa obsesión por el cliente, junto con tener la flexibilidad para diseñar la mejor solución, es algo novedoso para la industria.