Kulisy publikacji: Niklas Karlsson stosuje sterowanie ze sprzężeniem zwrotnym do żonglowania złożonymi wymaganiami dotyczącymi reklam

Z punktu widzenia inżynierów sterowanie ze sprzężeniem zwrotnym to proces dostosowywania systemu i korygowania w celu uzyskania żądanego wyniku. Na przykład robot napotyka przeszkodę i zmienia kierunek ruchu. Dokładnie to podejście leży u podstaw niedawnej pracy Niklasa Karlssona, starszego głównego naukowca w Amazon Ads. Jako były inżynier robotyki Niklas wykorzystał to doświadczenie, a także niemal dwie dekady doświadczenia w technologii reklamowej, do rozwiązywania problemu realizowania złożonych celów reklamowych dla klientów.

Niklas posiada zaawansowane stopnie naukowe w dziedzinie inżynierii i statystyki uzyskane na Uniwersytecie Kalifornijskim w Santa Barbara i Uniwersytecie Lund w Szwecji. Jest też stypendystą organizacji Institute of Electrical and Electronics Engineers (IEEE). W poszukiwaniu zmiany po swojej przygodzie z robotyką na początku 2000 roku Niklas dołączył firmy Advertising.com, aby pomóc w przeprojektowaniu jej systemu optymalizacji reklam. Zainteresowanie technologią reklamową okazało się u Niklasa trwałe i w lipcu 2022 roku dołączył on do Amazon. Tutaj opowiada on o swojej karierze i o swoim najnowszym artykule, który przyjęto na 63. konferencję IEEE Conference on Decision and Control (2023) w Singapurze.

Dlaczego dołączyłeś do Amazon Ads?

Pracuję w branży reklamy internetowej od 2005 roku, a na początku 2022 roku rekruter zwrócił się do mnie w sprawie możliwości dołączenia do Amazon Ads. Zainteresowała mnie możliwość radzenia sobie z podobnymi problemami, do których byłem przyzwyczajony, ale dla innej firmy. Perspektywa pracy w Amazon była intrygująca. Wielkość i reputacja firmy Amazon oraz jej ambitne zasady przywództwa — Działaj, Myśl odważnie, Osiągaj wyniki — przemówiły do mnie.

Jaka jest główna dziedzina Twoich badań?

Moje zainteresowania badawcze to sterowanie ze sprzężeniem zwrotnym, systemy dynamiczne i optymalizacja. Mój zakres odpowiedzialności w firmie Amazon to zapewnianie wiedzy w zakresie algorytmów optymalizacji kampanii reklamowych zarządzanych przez Amazon Demand Side Platform (ADSP) i sterowanie nimi oraz rozwijanie platformy ADSP z korzyścią dla naszych klientów. Nasi klienci to reklamodawcy, którzy chcą wydać swoje budżety w celu osiągnięcia określonych celów kampanii. Na przykład reklamodawca może zwrócić się do nas z miesięcznym budżetem o wartości 100 000 USD, aby wydać go w taki sposób, by zmaksymalizować całkowitą liczbę konwersji lub całkowitą sprzedaż. Budżet powinien być wydawany przez cały miesiąc — nie powinien zostać wydany w całości pierwszego czy ostatniego dnia. Dodatkowe ograniczenia dotyczące dostarczania są typowe — na przykład dostarczanie połowy odsłon reklam kobietom lub wydawanie co najwyżej określonej kwoty, w ujęciu średnim, na konwersję lub na odsłonę. Odsłona reklamy ma miejsce, gdy reklama jest pokazywana użytkownikowi.

Kampanię reklamową można zdefiniować jako niezwykle wysokowymiarowy i podlegający wielu ograniczeniom problem optymalizacji. Dzięki przemyślanej matematyce problem ten można rozłożyć na problemy podrzędne, które są nieco łatwiejsze do rozwiązania. Rozwiązania problemów podrzędnych obejmują zaawansowane techniki uczenia maszynowego, sterowania ze sprzężeniem zwrotnym i statystyki. Połączenie tych technik pozwala na obliczanie stawek za odsłony reklam przesyłanych w imieniu reklamodawcy.

Opowiedz nam o swojej publikacji.

Mój artykuł, „Hierarchiczna optymalizacja kampanii reklamowych z wieloma ograniczeniami oparta na sterowaniu ze sprzężeniem zwrotnym” rozwiązuje przedtem pomijany problem z zakresu optymalizacji. Warto zwrócić uwagę, że reklamodawcy zazwyczaj chcą zmaksymalizować na przykład całkowitą liczbę konwersji z uwzględnieniem co najmniej jednego ograniczenia dotyczącego realizacji. W przeszłości takie ograniczenia dotyczyły całego budżetu kampanii. Jednak w ostatnich latach reklamodawcy często nakładają pewne ograniczenia dotyczące realizacji ogólnego budżetu kampanii i inne dotyczące tylko kampanii podrzędnych. Kampania podrzędna jest definiowana przez unikatowy materiał reklamowy i podlega osobnym ograniczeniom — na przykład dotyczącym wydatków, stosunku liczby kobiet do liczby mężczyzn oraz średnich wydatków na odsłonę lub na konwersję.

Wynika z tego, że obecnie cele kampanii często odpowiadają problemom hierarchicznych optymalizacji z wieloma ograniczeniami. Prowadzi to do powstawania interesujących i stanowiących wyzwania problemów badawczych. Przed moimi badaniami opracowano proste rozwiązanie, ale miało ono istotne ograniczenia i było niezgodne z wielką wizją dotyczącą platformy ADSP. Moje badania i artykuł dotyczą całościowego podejścia do problemu, obejmującego wyprowadzenie matematycznie optymalnego rozwiązania i opracowanie zdecentralizowanej implementacji rozwiązania.

Jak powstał ten artykuł?

Zaczęło się od audytu ogólnego systemu optymalizacji platformy ADSP, który przeprowadziłem podczas moich pierwszych kilku miesięcy w firmie Amazon. W trakcie audytu zidentyfikowałem mocne i słabe strony systemu optymalizacji oraz ustaliłem możliwości ulepszenia realizacji kampanii i poprawy skuteczności dla reklamodawców. Jeden szczególny słaby punkt dał mi wiele do myślenia. Mimo że wiedziałem, że można wprowadzić ulepszenia, nie wiedziałem od razu, jak opisać ten problem, i nie miałem pomysłu na rozwiązanie. Jednak pod koniec 2022 roku, gdy miałem przerwę między projektami, a przez to więcej czasu na przemyślenia, zyskałem jasność i opracowałem szczegóły — najpierw poprzez odpowiednie zdefiniowanie problemu w ramach matematycznych, a następnie poprzez opracowanie na podstawie tego optymalnego rozwiązania i solidnej implementacji. Pierwszą wersję artykułu przygotowałem w grudniu 2022 roku, a w kolejnych tygodniach uogólniłem wyniki. Na etapie finalizowania artykułu zaczęliśmy opracowywać prototyp, aby zademonstrować koncepcję, i wynik był w przeważającej mierze pozytywny. Udowodniono ponad wszelką wątpliwość, że to rozwiązanie powinno zostać wprowadzone do produkcji i szeroko wdrożone, co teraz nastąpiło.

Jakiego rodzaju wpływ udało Ci się zaobserwować?

Przede wszystkim rozwiązanie natychmiast pozwoliło na wydajniejsze realizowanie budżetów kampanii reklamowych. Dzięki temu pozostawało mniej niewykorzystanego budżetu reklamowego, a skuteczność kampanii mierzono za pomocą wskaźników, takich jak średni koszt konwersji i inne kluczowe wskaźniki wydajności, które poprawiły się o kilka punktów procentowych każdy.

Jednak oprócz ulepszonych wskaźników, nowe rozwiązanie umożliwiło również używanie szerokiego zakresu innych ograniczeń realizacji, które były niezgodne ze starym rozwiązaniem. Na potrzeby osiągnięcia stanu niemal optymalnego starego systemu można było używać tylko do kampanii wyłącznie z ograniczeniami wydatków. Oznaczało to, że poza zasięgiem były kampanie z ograniczeniami dotyczącymi kosztu konwersji, kosztu odsłony, kosztu kliknięcia, wskaźnika widoczności reklamy, wskaźnika trafień do odbiorców docelowych itp. Nowy system ma charakter ogólny i jest przygotowany na przyszłość oraz łatwo radzi sobie z dowolną liczbą hierarchicznych problemów z wieloma ograniczeniami.

Co jest godnego uwagi w tym podejściu?

Czynnikami wyróżniającymi ten nowy system są sposób, w jaki problem jest dzielony na moduły, a następnie sposób, w jaki w połączeniu implementowanych jest wiele elementów sterujących sprzężeniem zwrotnym, aby niezawodnie i skutecznie rozwiązywać różne problemy podrzędne.

Ludzie są zafascynowani tym, jak można przekształcić złożony problem techniczny w problem dotyczący sterowania, ponieważ nie jest to tradycyjne zastosowanie sterowania ze sprzężeniem zwrotnym. Konwencjonalne zastosowania tej metodologii to obszar lotnictwa i robotyki. Jednak piękno sterowania ze sprzężeniem zwrotnym jako dziedziny naukowej polega na tym, że koncepcja ta opiera się na abstrakcji, która pozwala na używanie tych samych narzędzi w wielu zastosowaniach. Problemy z dziedziny technologii reklamowej można przekształcić do postaci pozwalającej używać dokładnie tych samych narzędzi, które są używane do opracowywania systemów sterowania dla silników odrzutowych, samochodów autonomicznych i elektrowni.

W tym artykule przyjmuję całościowe podejście i gdziekolwiek tylko mogę, stosuję rozumowanie oparte na zasadach pierwszych. Większość artykułu to matematyka, ale po zaznajomieniu się z notacją zrozumienie go jest dość proste i intuicyjne.

Czy Twoje doświadczenie w robotyce pozwoliło Ci myśleć w ten sposób?

Oczywiście. Wiele osób pytało mnie, czy przejście od robotyki do reklamy internetowej było wielką zmianą. Mówię, że nie, ponieważ kiedy pracowałem w robotyce, stosowałem to samo podejście. Podchodziłem do problemu biznesowego i zmieniałem go w problem matematyczny. Rozwiązywałem ten problem matematyczny, a następnie wdrażałem rozwiązanie w rzeczywistym systemie. To dokładnie to samo, co robię teraz. We wszystkim tym chodzi o myślenie abstrakcyjne.

Co jest dla Ciebie najważniejsze w pracy naukowca w Amazon Ads?

Otacza mnie wielu inteligentnych ludzi, którzy mają w sobie głód wywierania wpływu. W społeczności naukowej Amazon reprezentowanych jest wiele środowisk akademickich. Na pewno jest wielu informatyków, ale są też ludzie z dziedzin statystyki, ekonomii, sterowania ze sprzężeniem zwrotnym, czystej matematyki, chemii… Wszelkich dziedzin.

Ogólnie rzecz biorąc, w technologii reklamowej podoba mi się to, że jest ona tak interdyscyplinarna. Nie da się wiedzieć wszystkiego. Każda osoba wnosi jakiś wkład i zawsze uczymy się od innych oraz napotykamy wiele interesujących problemów, które czekają na rozwiązanie.

Firma Amazon zapewnia kulturę, w której naprawdę zachęca się do dzielenia się nowymi pomysłami. Otrzymuje się wiele pytań dotyczących własnych pomysłów i zazwyczaj prowadzi się wiele dyskusji dotyczących zalet rozważanych rozwiązań. Jednak ludzie są bardzo otwarci na nowe pomysły, a stosowany proces pomaga naprawdę przetestować swój sposób myślenia i realizować wysokiej jakości pracę. To bardzo wspierająca organizacja.

W jaki sposób Twoja praca na obecnym stanowisku wpływa na zmianę postrzegania reklamy?

Reklama internetowa istnieje od wielu lat. Przeszliśmy długą drogę, ale wciąż jest tak wiele do zrobienia. Dla lepszego zobrazowania: kiedy wchodziłem do branży, nie było danych na poziomie użytkownika, algorytmy były prymitywne, a reklamodawcy mieli słabe pojęcie o tym, co mogą zyskać dzięki reklamie zautomatyzowanej.

Obecnie dostępna jest ogromna ilość szczegółowych danych do modelowania i optymalizacji. Opracowano zaawansowane algorytmy optymalizacji i sterowania. Pojawiły się też nowe typy formatów reklam. Ponadto reklamodawcy są dziś obeznani i wymagający — oczekują dobrego zwrotu z inwestycji. Pomimo poczynienia ogromnych postępów w ciągu ostatnich 20 lat, przed nami jest tak wiele do zrobienia, co będzie wymagać od ludzi z różnymi zestawami umiejętności badania i rozwiązywania problemów. Spodziewam się, że osoby z doświadczeniem w uczeniu maszynowym, sztucznej inteligencji, sterowaniu ze sprzężeniem zwrotnym, statystyce i matematyce stosowanej będą miały wiele możliwości rozwoju ekscytujących karier w Amazon Ads lub w branży reklamowej.