Detrás del ensayo: Kelly Paulson utiliza algoritmos para identificar oportunidades de aprendizaje en todas las unidades de negocio

Kelly Paulson consiguió un trabajo en Amazon justo después de terminar sus estudios de posgrado. Había obtenido su doctorado en economía por la Universidad de California San Diego y al principio vio el trabajo como “algo divertido” para hacer antes de pasar a otra cosa. Sin embargo, le gustaba demasiado como para dejarlo y, 11 años después, es responsable sénior de economistas y científicos aplicados en Amazon Ads. El ensayo que coescribió, Multi-task combinatorial bandits for budget allocation, ganó el premio al mejor ensayo en la conferencia AdKDD de 2024. Aquí, Kelly nos habla sobre el ensayo y su trabajo en Amazon Ads.

Me uní al equipo de Amazon Kindle en 2013 cuando acababa de terminar mi tesis doctoral, y era el primer año en que Amazon reclutaba economistas junior recién graduados. Me sentí atraída por los datos. Había estado trabajando en técnicas estadísticas para aprender cómo toma decisiones la gente y, por supuesto, Amazon ya tenía uno de los conjuntos de datos más grandes del mundo sobre personas que toman decisiones.

En ese momento, tenía ofertas de trabajo en tecnología, administraciones públicas y docencia, y no esperaba quedarme en Seattle a largo plazo. Pero como tenía mucho interés en adquirir experiencia práctica con los abundantes datos de Amazon, pensé en posponer mis ofertas y hacer algo divertido durante un año. Al final de ese año, me gustó mucho el trabajo y decidí quedarme. Quería trasladarme a una parte de Amazon donde hubiera más personas pensando en cómo extraer información de conjuntos de datos realmente grandes. Así que me fui a Amazon Ads como la primera científica en trabajar en medición.

Me centré en comprender cómo influían los anuncios en los clientes y cómo transmitir esa información a los sistemas de optimización de la publicidad. Las señales únicas de Amazon son fundamentales para nuestra propuesta de valor. Cuando un comprador ve un anuncio de zapatos, ¿es más probable que compre esos zapatos? Si tenemos la oportunidad de mostrar el mismo anuncio a un comprador similar mañana, ¿deberíamos hacerlo?

Una parte crítica de eso era cómo podíamos resumir los hallazgos de una manera que fueran útiles para los anunciantes. ¿Podríamos hacer cálculos útiles del retorno de la inversión? ¿Qué podrían aprender de sus campañas de la vuelta al cole que pudieran incorporar en sus campañas del periodo festivo?

Entonces se empezaba a pensar cómo optimizar Amazon conjuntamente para los compradores y anunciantes, y ayudar a los anunciantes a llevar contenido más útil a los compradores en el momento adecuado.

Mi formación es en teoría econométrica, con un interés especial en los modelos causales en el marketing cuantitativo. En los últimos años, mi interés se ha centrado en cómo desarrollar una señal causal e insertarla en un conjunto más amplio de sistemas que toman decisiones de marketing.

Esa intersección entre la medición causal y el aprendizaje por refuerzo es muy única en Amazon. Tenemos una escala tan grande que necesitamos usar muchas herramientas, como el aprendizaje por refuerzo, para tomar decisiones. Somos una empresa que se guía mucho por los datos y queremos tomar decisiones basadas en señales causales, no en señales correlacionales.

Otras empresas generalmente se centran en un lado o en el otro. La intersección es muy interesante y estará en todas partes en el futuro. Amazon está a la vanguardia de esa área.

Como es bastante común en el sector de la tecnología, utilizamos las propias necesidades de Amazon para poner a prueba nuevos productos que podríamos llegar a vender externamente. Estoy en la organización de Amazon Ads, pero trabajo en marketing para un conjunto diverso de negocios de Amazon fuera de Ads. Por ejemplo, podemos querer aumentar la conciencia de creadores de contenido sobre una nueva serie de Prime Video o aumentar la conciencia de los compradores sobre las ofertas del periodo festivo.

Así que mi equipo apoya a los negocios internos de Amazon y usa los productos de Amazon Ads para lograr sus objetivos de marketing. El equipo es diverso, con expertos en el campo del marketing que mantienen estrechas relaciones con responsables empresariales, además de científicos e ingenieros. Juntos, identificamos oportunidades para utilizar algoritmos en sistemas de publicidad y para ver patrones que otras personas no pueden ver.

La idea de este ensayo era ver si podíamos aprender algo haciendo que un algoritmo analizara la información de diferentes productos. Demostramos que, cuando utilizamos técnicas de aprendizaje por refuerzo, podemos ayudar a que un producto tenga un mejor rendimiento utilizando en tiempo real lo que otros productos han aprendido. Hemos estado ejecutando este algoritmo diariamente.

Supongamos que ya tenemos un montón de campañas de marketing para diferentes dispositivos y que vamos a lanzar un nuevo dispositivo para el periodo festivo. ¿Por dónde empezamos? Con este algoritmo, podemos tomar lo que ya sabemos de otras campañas de marketing que hemos realizado para dispositivos existentes, y comenzar la nueva campaña con una configuración optimizada.

Lo principal es que la mejora del rendimiento es bastante alta. En la conferencia AdKDD, muchos de los otros ensayos informaron de una mejora del 2 % o 3 % en el índice de clics. Nuestra mejora media del total de clics fue del 18 %. También registramos una reducción del 12,7 % en el coste por clic.

Esto demuestra que, aunque haya un intención de coordinar los productos, es muy difícil, y el uso algoritmos como este ayuda a que los productos aprendan sistemáticamente unos de otros, lo que abre la puerta a una gran oportunidad de negocio. Los expertos en marketing de distintos productos pueden compartir lo que han aprendido entre sí en sesiones de “almuerzos de aprendizaje” y desarrollar manuales de prácticas recomendadas, pero la coordinación entre personas es costosa, y resulta difícil mantener actualizados la información detallada en un sector que evoluciona rápidamente. Esta es una manera sistemática y basada en principios con la que las empresas pueden mejorar la coordinación y la eficiencia.

Incluso fuera de las empresas tecnológicas, hay muchas compañías grandes con necesidades de marketing complejas y presencia global. Sin embargo, una gran parte de la literatura académica solo examina partes aisladas del problema empresarial. Así que resulta emocionante que, si eres una empresa con productos diversos, puedas lograr que las diferentes partes de tu negocio trabajen todas en la misma dirección utilizando el aprendizaje por refuerzo.

Durante sus tesis doctorales, tres estudiantes de posgrado dedicaron tiempo a trabajar en prácticas con nosotros en este ensayo. Los tres recibieron ofertas de Amazon; dos ya han empezado y otro empezará a principios de este año.

Una cosa que me gusta mucho es la capacidad de convertir mis ideas en programas. A menudo estoy trabajando en un proyecto y me doy cuenta de que otra cosa era mucho más importante para el negocio. Tenemos un proceso por el que escribes un comunicado de prensa hipotético y respondes algunas preguntas frecuentes sobre un futuro producto o programa que Amazon podría tener.

Gracias a eso he tenido la oportunidad en varias ocasiones de formular un problema que quiero resolver, pensar en la solución, redactarlo, compartir la idea con colegas y crear estos nuevos productos basados en la ciencia. Es gratificante ver productos que ahora tienen equipos de 25 personas y saber que fui yo quien presentó el caso de negocio y consiguió la financiación inicial.

En mi función, puedo equilibrar las preguntas sobre cómo medimos el impacto de los anuncios en los clientes con la forma en que operamos nuestros sistemas de optimización que obtendrán mejores resultados para nuestros clientes. Cuando hablo con otras empresas, siento que están tratando de encasillarme; necesitan que o bien mida algo o que gestione un sistema de optimización. En Amazon, tengo la flexibilidad de operar en todo el espacio del problema y pensar realmente en cómo lograr el mejor resultado para los clientes, combinando los sistemas de optimización y los sistemas de medición.

Otra cosa única sobre los científicos aplicados aquí es que se centran en entregar software, no solo en hacer investigación. Fabrican productos que son duraderos y que ayudan a resolver una necesidad comercial a largo plazo.

Mi equipo piensa todos los días en las necesidades publicitarias de Amazon y probamos productos publicitarios existentes a escala para identificar oportunidades de mejora. Como Amazon es uno de los mayores anunciantes del mundo, aprendemos mucho. No estamos tratando de vender los productos publicitarios existentes, estamos buscando formas de mejorarlos. Esa pasión por el cliente, junto con la flexibilidad para diseñar la mejor solución, es algo novedoso en el sector.