Achter de paper: Niklas Karlsson past feedbackcontrole toe om te kunnen omgaan met complexe advertentie-eisen
Ingenieurs kennen feedbackcontrole als het proces waarbij een systeem wordt aangepast en gecorrigeerd voor een gewenst resultaat; een robot stuit bijvoorbeeld op een obstakel en leidt zichzelf om. Dezelfde aanpak ondersteunt recent werk van Niklas Karlsson, een Senior Principal Scientist bij Amazon Ads. Als voormalig robotica-ingenieur heeft Niklas die achtergrond, evenals bijna twee decennia in reclametechnologie, toegepast op het probleem van het behalen van complexe advertentiedoelen voor klanten.
Niklas heeft een hogere graad in techniek en statistiek behaald aan de University of California in Santa Barbara en Lund University in Zweden, en hij is een fellow van het Institute of Electrical and Electronics Engineers (IEEE). Op zoek naar een verandering ten opzichte van zijn vroege overstap naar robotica in de vroege jaren 2000, kwam Niklas bij Advertising.com werken om te helpen bij de herziening van het advertentieoptimalisatiesysteem. De interesse in advertentietechnologie bleef hangen en Niklas kwam in juli 2022 bij Amazon werken. Hier vertelt hij over zijn carrière en recente paper, die werd aanvaard voor de 63e IEEE Conference on Decision and Control (2023) in Singapore.
Waarom ben je gaan werken voor Amazon Ads?
Ik was sinds 2005 actief in de branche van online adverteren en begin 2022 werd ik benaderd door een recruiter over de mogelijkheid om voor Amazon Ads te werken. Ik werd gedreven door het idee om soortgelijke problemen aan te pakken die ik gewend was, maar voor een ander bedrijf. Het vooruitzicht om bij Amazon te gaan werken was intrigerend. De omvang, reputatie en ambitieuze leiderschapsprincipes van Amazon (Actiegerichtheid, Groots denken, Resultaten leveren) vonden weerklank bij mij.
Wat is je belangrijkste onderzoeksgebied?
Mijn onderzoeksinteresse is feedbackcontrole, dynamische systemen en optimalisatie. Mijn opdracht bij Amazon is om expertise te bieden in algoritmen voor optimalisatie en controle van advertentiecampagnes die worden beheerd door Amazon-platform aan de vraagzijde (ADSP, Amazon Demand Side Platform) en om ADSP te bevorderen ten behoeve van onze klanten. Onze klanten zijn adverteerders die hun budget willen besteden om een bepaald campagnedoel te bereiken. Een adverteerder kan ons bijvoorbeeld benaderen met een maandelijks budget van $ 100.000 om zo uit te geven dat het totale aantal conversies of verkopen wordt gemaximaliseerd. De wens is om het budget de hele maand door te besteden, niet om alles op de eerste of de laatste dag uit te geven. Bijkomende leveringsbeperkingen komen vaak voor, bijvoorbeeld om de helft van de advertentie-impressies aan vrouwelijke gebruikers te laten zien of om gemiddeld maximaal een bepaald bedrag per conversie of per impressie uit te geven. Een advertentie-impressie is wanneer een advertentie aan een gebruiker wordt getoond.
Een advertentiecampagne kan worden gedefinieerd als een extreem hoogdimensionaal optimalisatieprobleem met meerdere beperkingen. Via slimme wiskunde kan dit probleem worden opgesplitst in deelproblemen die iets gemakkelijker op te lossen zijn. De oplossingen voor de subproblemen omvatten geavanceerde technieken zoals machine learning, feedbackcontrole en statistieken; in combinatie worden ze gebruikt om biedingen te berekenen die namens de adverteerder worden ingediend voor advertentie-impressies.
Vertel ons over je paper.
Mijn paper, ‘Op feedbackbeheer gebaseerde hiërarchische optimalisatie van advertentiecampagnes met meerdere beperkingen’, lost een optimalisatieprobleem op dat voorheen over het hoofd werd gezien. Houd er rekening mee dat adverteerders doorgaans bijvoorbeeld het totale aantal conversies willen maximaliseren, afhankelijk van een of meer leveringsbeperkingen. Historisch gezien waren dergelijke beperkingen van toepassing op het volledige campagnebudget. Maar de laatste jaren leggen adverteerders vaak bepaalde leveringsbeperkingen op aan het totale campagnebudget en anderen alleen aan subcampagnes. Een subcampagne wordt gedefinieerd door een unieke creative voor advertentie en is onderhevig aan eigen beperkingen, bijvoorbeeld wat betreft de uitgaven, de verhouding tussen vrouwen en mannen en de gemiddelde uitgaven per impressie of per conversie.
Hieruit volgt dat campagnedoelstellingen tegenwoordig vaak overeenkomen met hiërarchische optimalisatieproblemen met meerdere beperkingen. Dit leidt tot interessante en uitdagende onderzoeksproblemen. Voorafgaand aan mijn onderzoek was een eenvoudige oplossing ontwikkeld, maar die oplossing had belangrijke beperkingen en was in strijd met de grote visie van ADSP. In mijn onderzoek en paper wordt het probleem holistisch behandeld door de wiskundig optimale oplossing af te leiden en een gedecentraliseerde implementatie van de oplossing te bedenken.
Hoe is de paper tot stand gekomen?
Het begon met een audit die ik heb uitgevoerd van het algemene ADSP-optimalisatiesysteem tijdens mijn eerste paar maanden bij Amazon. Tijdens de audit heb ik de sterke en zwakke punten van het optimalisatiesysteem geïdentificeerd en mogelijkheden vastgesteld voor een betere campagne-uitvoering en -prestaties voor onze adverteerders. Eén specifieke zwakte zette me aan het denken. Hoewel ik wist dat er verbeteringen konden worden aangebracht, wist ik niet meteen hoe ik het probleem moest omschrijven en had ik geen oplossing in gedachten. Maar tegen het einde van 2022, toen ik tussen projecten zat en meer tijd had om na te denken, kreeg ik duidelijkheid en werkte ik de details uit: eerst door het probleem adequaat te definiëren met behulp van wiskunde en daarna door de optimale oplossing en een goede implementatie af te leiden. Ik heb de eerste versie van het document in december 2022 voorbereid en de resultaten in de komende weken verder gegeneraliseerd. Toen de paper werd afgerond, begonnen we een prototype te ontwikkelen om het concept te demonstreren, en het resultaat was overweldigend positief. Het is zonder enige twijfel bewezen dat deze oplossing in productie moet worden genomen en op grote schaal moet worden toegepast, wat nu is gebeurd.
Wat voor impact heb je gezien?
In de eerste plaats zorgde de oplossing ervoor dat advertentiecampagnes hun budgetten efficiënter konden uitvoeren. Er bleef minder advertentiebudget over en de campagneprestaties werden gemeten aan de hand van statistieken, zoals de gemiddelde kosten per conversie en andere belangrijke prestatie-indicatoren, die elk met meerdere procentpunten verbeterden.
Maar naast de verbeterde statistieken maakte de nieuwe oplossing ook een breed scala aan andere leveringsbeperkingen mogelijk die niet compatibel waren met de oude oplossing. Om bijna-optimaliteit te bereiken, kon het oude systeem alleen worden gebruikt voor campagnes met alleen maar uitgavenbeperkingen. Dit betekende dat campagnes met beperkingen op kosten per conversie, kosten per impressie, kosten per klik, in-view-percentage, in-target-percentage, enz., buiten bereik vielen. Het nieuwe systeem is algemeen en toekomstgericht en kan gemakkelijk een willekeurig aantal hiërarchische problemen met meerdere beperkingen afhandelen.
Wat is opmerkelijk aan deze aanpak?
De onderscheidende factor van het nieuwe systeem is hoe het probleem wordt gemodulariseerd en vervolgens hoe meerdere feedbackcontrollers samen worden geïmplementeerd om de verschillende deelproblemen robuust en efficiënt op te lossen.
Mensen zijn gefascineerd door hoe je van een complex en technisch probleem een controleprobleem kunt maken, omdat dat niet het traditionele gebruik van feedbackcontrole is; conventionele toepassingen zijn te vinden in de ruimtevaart en robotica. Maar het mooie van feedbackcontrole als wetenschappelijke discipline is dat hij gebaseerd is op abstractie, waardoor dezelfde tools in veel toepassingen kunnen worden gebruikt. Je kunt problemen uit de advertentietechnologie omzetten in een formulier waarmee je exact dezelfde hulpmiddelen kunt gebruiken die worden gebruikt voor de ontwikkeling van controlesystemen voor straalmotoren, zelfrijdende auto's en energiecentrales.
In de paper hanteer ik een holistische benadering en neem ik waar mogelijk de redenering van de eerste principes op. Het grootste deel van de paper is wiskunde, maar als je eenmaal bekend bent met de notatie, is het vrij eenvoudig en intuïtief.
Kan je door je achtergrond in robotica op deze manier denken?
Absoluut. Veel mensen hebben me gevraagd of het een grote verandering was om van robotica naar online adverteren te gaan. Ik zeg nee, want toen ik in de robotica werkte, gebruikte ik dezelfde aanpak. Ik nam een zakelijk probleem en maakte er een wiskundig probleem van; ik loste het wiskundige probleem op en implementeerde vervolgens een oplossing in een echt systeem. Dat is precies wat ik nu doe. Het draait allemaal om abstractie.
Wat is voor jou een hoogtepunt aan het werken als wetenschapper bij Amazon Ads?
Ik ben omringd door veel slimme mensen die graag indruk willen maken. Veel academische achtergronden zijn vertegenwoordigd in de wetenschappelijke community van Amazon. Er zijn zeker genoeg computerwetenschappers, maar er zijn ook mensen uit de statistiek, economie, feedbackcontrole, pure wiskunde, scheikunde... noem maar op.
Wat ik leuk vind aan advertentietechnologie in het algemeen, is dat het zo multidisciplinair is. Het is niet mogelijk om alles te weten; iedereen neemt iets mee, en je zult altijd van anderen leren en veel interessante problemen tegenkomen die gewoon moeten worden opgelost.
Amazon biedt een cultuur waarin je echt wordt aangemoedigd om nieuwe ideeën te delen. Je gaat veel vragen krijgen over je ideeën, en meestal wordt er veel heen en weer gepraat over de voordelen van wat je in gedachten hebt. Maar mensen staan erg open voor nieuwe ideeën, en het proces helpt je om je denkwijze echt te testen en kwalitatief hoogstaand werk af te leveren. Het is een zeer ondersteunende organisatie.
Hoe geef je adverteren opnieuw vorm in jouw functie?
Online adverteren bestaat al vele jaren. We hebben een lange weg afgelegd, maar er is nog zoveel te doen. Om de zaken in perspectief te plaatsen: toen ik in de branche kwam, waren er geen gegevens op gebruikersniveau, waren algoritmen primitief en hadden adverteerders geen goed beeld van wat geautomatiseerde advertenties voor hen konden betekenen.
Er is nu een enorme hoeveelheid gedetailleerde gegevens beschikbaar voor modellering en optimalisatie; er zijn geavanceerde algoritmen voor optimalisatie en controle ontwikkeld en er zijn nieuwe soorten advertentieformaten ontstaan. Bovendien zijn adverteerders tegenwoordig slim en veeleisend en verwachten ze een goed rendement op investering. Ondanks de enorme vooruitgang in de afgelopen 20 jaar staat ons nog zoveel te wachten waarvoor mensen met verschillende vaardigheden nodig zijn om problemen te onderzoeken en op te lossen. Voor mensen met een achtergrond in machine learning, AI, feedbackcontrole, statistiek en toegepaste wiskunde verwacht ik dat er veel mogelijkheden zullen zijn om een boeiende carrière te laten groeien bij Amazon Ads of in de advertentiebranche.