논문의 비하인드 스토리: 피드백 제어를 적용하여 복잡한 광고 요구 사항을 처리하는 Niklas Karlsson

엔지니어들은 피드백 제어를 시스템을 조정하고 원하는 결과를 위해 수정하는 과정으로 알고 있습니다. 예를 들어, 로봇이 장애물을 만나면 스스로 경로를 재설정하는 것과 같습니다. 바로 이 접근 방식이 아마존 광고의 선임 수석 과학자 Niklas Karlsson의 최근 연구의 토대가 되었습니다. 전직 로봇공학 엔지니어였던 Niklas는 이러한 배경과 광고 기술 분야에서 쌓은 거의 20년의 경력을 고객의 복잡한 광고 목표를 효과적으로 달성하는 문제에 적용해 왔습니다.

Niklas는 캘리포니아 대학교 샌타바버라 캠퍼스와 스웨덴 룬드 대학교에서 공학 및 통계학 석사 학위를 받았으며, 국제전기전자공학회(IEEE) 펠로우입니다. 2000년대 초 로봇공학 분야에서 초기 경력을 쌓은 후 변화를 모색하던 Niklas는 Advertising.com에 합류하여 광고 최적화 시스템 개편을 도왔습니다. 광고 기술에 대한 관심은 계속되었고, Niklas는 2022년 7월에 아마존에 입사했습니다. 여기에서 그는 자신의 경력과 싱가포르에서 열린 제63회 IEEE 의사결정 및 제어 학회(2023)에 채택된 최근 논문에 대해 이야기합니다.

어떻게 아마존 광고에 입사하셨나요?

저는 2005년부터 온라인 광고 업계에 종사해 왔었고, 2022년 초에 한 리크루터가 제게 아마존 광고에 합류할 가능성에 대해 제안했습니다. 제가 익숙하게 다루던 문제와 비슷한 유형의 문제를 다른 회사에서 해결한다는 아이디어에 끌렸습니다. 아마존에서 일할 기회라는 점이 흥미로웠습니다. 아마존의 규모, 명성 그리고 Bias for Action, Think Big, Deliver Results와 같은 야심 찬 Leadership Principles가 제 마음에 와닿았습니다.

본인의 주요 연구 분야는 무엇인가요?

저의 연구 관심사는 피드백 제어, 동적 시스템, 그리고 최적화입니다. 아마존에서의 제 임무는 아마존 수요 측 플랫폼(ADSP)이 관리하는 광고 캠페인의 최적화 및 제어 알고리즘에 대한 전문 지식을 제공하고, 고객의 이익을 위해 ADSP를 발전시키는 것입니다. 저희 고객은 특정 캠페인 목표를 달성하기 위해 예산을 사용하고자 하는 광고주들입니다. 예를 들어, 한 광고주가 총 전환 수, 즉 매출을 극대화하는 방식으로 지출할 월 $100,000의 예산을 가지고 저희에게 접근할 수 있습니다. 핵심은 예산을 첫날이나 마지막 날에 모두 소진하는 것이 아니라, 한 달 내내 고르게 지출하는 것입니다. 추가적인 게재 제약 조건은 일반적입니다. 예를 들어, 광고 노출의 절반을 여성 사용자에게 제공하거나, 전환당 또는 노출당 평균 지출액을 특정 금액 이하로 유지하는 것 등입니다. 광고 노출이란 사용자에게 광고가 표시되는 것을 의미합니다.

광고 캠페인은 극도로 고차원적인 다중 제약 최적화 문제로 정의될 수 있습니다. 약간의 영리한 수학적 기법을 통해, 이 문제는 해결하기 조금 더 쉬운 하위 문제들로 분해될 수 있습니다. 이 하위 문제들의 해결책에는 머신 러닝, 피드백 제어, 통계학의 고급 기법이 포함되며, 이들을 결합하여 광고주를 대신해 광고 노출에 제출될 입찰액을 계산하는 데 사용합니다.

논문에 대해 알려주세요

제 논문 ‘피드백 제어 기반의 계층적 다중 제약 광고 캠페인 최적화’는 이전에 간과되었던 최적화 문제를 해결합니다. 광고주들은 일반적으로 하나 이상의 게재 제약 조건을 충족시키는 범위 내에서, 예를 들어 총 전환 수를 최대화하는 것을 목표로 합니다. 과거에는 이러한 제약 조건들이 전체 캠페인 예산에 적용되는 것이 일반적이었습니다. 하지만 최근 몇 년 사이 광고주들은 전체 캠페인 예산에 특정 게재 제약 조건을 부과하는 경우도 있고, 일부는 하위 캠페인에만 적용하는 경우가 많아졌습니다. 하위 캠페인은 고유한 광고 크리에이티브로 정의되며, 지출, 여성 대 남성 비율, 노출당 또는 전환당 평균 지출 등 자체적인 제약 조건을 가집니다.

따라서 오늘날의 캠페인 목표는 종종 계층적 다중 제약 최적화 문제에 해당합니다. 이는 흥미롭고 도전적인 연구 과제로 이어집니다. 제 연구 이전에도 간단한 해결책이 개발되어 있었지만, 그 해결책은 중요한 한계를 가지고 있었고 ADSP의 원대한 비전에는 부합되지 않았습니다. 제 연구와 논문은 수학적으로 최적의 솔루션을 도출하고 분산된 구현 방식을 고안함으로써 이 문제를 포괄적으로 다룹니다.

이 논문은 어떻게 시작하게 되었나요?

제 논문은 아마존에서의 첫 몇 달 동안 제가 수행했던 전체 ADSP 최적화 시스템에 대한 감사에서 시작되었습니다. 감사를 통해 저는 최적화 시스템의 강점과 약점을 파악했고, 광고주를 위한 캠페인 게재 및 퍼포먼스 개선 기회를 확인했습니다. 특히 하나의 약점이 제게 깊은 고민을 안겨주었습니다. 개선이 가능하다고는 생각했지만, 즉시 문제를 어떻게 설명해야 할지, 해결책은 무엇일지 알지 못했습니다. 하지만 2022년 말쯤, 프로젝트 사이의 공백 기간 동안 생각할 여유가 생기면서 문제에 대한 명확한 통찰을 얻었고, 세부 사항을 정리할 수 있었습니다. 먼저 수학적으로 문제를 적절히 정의한 뒤, 최적의 해법을 도출하고 이를 안정적으로 구현했습니다. 저는 2022년 12월에 논문의 첫 번째 초안을 준비했고 그 후 몇 주 동안 결과를 더 일반화했습니다. 논문이 마무리될 무렵 저희는 개념을 입증하기 위한 프로토타입 개발을 시작했으며, 그 결과는 압도적으로 긍정적이었습니다. 이 솔루션이 실제 운영에 도입되고 널리 배포되어야 한다는 것이 의심의 여지 없이 입증되었고, 이는 현재 현실이 되었습니다.

어떤 영향을 발견하셨나요?

우선, 이 솔루션 덕분에 광고 캠페인 예산을 즉시 더 효율적으로 집행할 수 있게 되었습니다. 미소진 광고 예산이 줄었고, 전환당 평균 비용 및 기타 핵심 성과 지표(KPI)와 같은 메트릭으로 측정되는 캠페인 퍼포먼스 지표가 각각 몇 퍼센트 포인트씩 개선되었습니다.

그러나 개선된 메트릭 외에도, 새로운 솔루션은 기존 솔루션과 호환되지 않았던 광범위한 다른 전달 제약들을 가능하게 했습니다. 최적에 가까운 결과를 달성하기 위해, 기존 시스템은 지출 제약만 있는 캠페인에만 사용할 수 있었습니다. 이는 전환당 비용, 노출당 비용, 클릭당 비용, 가시성 비율, 타겟 도달률 등에 제약이 있는 캠페인은 실행할 수 없었음을 의미합니다. 새로운 시스템은 일반적이고 미래 지향적이며, 임의의 수의 계층적 다중 제약 문제를 쉽게 처리합니다.

이 접근 방식에서 주목할 만한 점은 무엇인가요?

새로운 시스템의 차별화 요소는 문제를 모듈화하는 방식과, 그 이후 여러 피드백 제어기를 함께 구현하여 다양한 하위 문제들을 견고하고 효율적으로 해결하는 방식에 있습니다.

사람들이 복잡한 광고 기술 문제를 제어 문제로 전환하는 방식에 매료되는 이유는 그것이 피드백 제어의 전통적인 용도가 아니기 때문입니다. 일반적인 응용 분야는 항공 우주 및 로봇 공학에서 찾아볼 수 있습니다. 하지만 과학 분야로서 피드백 제어의 진정한 묘미는 그것이 다양한 응용 분야에 동일한 도구를 사용할 수 있게 해주는 추상화에 기반한다는 점입니다. 애드테크의 문제를 제트 엔진, 자율 주행차, 발전소의 제어 시스템을 개발하는 데 사용되는 것과 똑같은 도구를 사용할 수 있는 형태로 바꿀 수 있습니다.

논문에서 저는 포괄적인 접근 방식을 취하고 가능한 모든 곳에 제1원리 추론을 통합합니다. 논문의 대부분은 수학이지만, 일단 표기법에 익숙해지면 매우 간단하고 직관적입니다.

로봇공학 배경으로 인해 이런 방식으로 생각할 수 있었나요?

물론입니다. 많은 사람들이 제게 로봇공학에서 온라인 광고로 전환한 것이 큰 변화였는지 물었습니다. 저는 아니요라고 말합니다. 로봇공학 분야에서 일할 때도 동일한 접근 방식을 사용했기 때문입니다. 저는 비즈니스 문제를 가져와 수학 문제로 전환했고, 그 수학 문제를 해결한 다음 실제 시스템에 솔루션을 구현했습니다. 지금 제가 하는 일이 바로 그것입니다. 모든 것은 추상화에 달려 있습니다.

아마존 광고의 과학자로 일하는 것의 가장 큰 즐거움은 무엇인가요?

저는 변화를 만들고자 하는 열망이 가득한 똑똑한 사람들에게 둘러싸여 있습니다. 아마존 과학 커뮤니티에는 다양한 학문적 배경을 가진 사람들이 있습니다. 물론 컴퓨터 과학자도 많지만, 통계학, 경제학, 피드백 제어, 순수 수학, 화학 등 출신 분야는 매우 다양합니다.

제가 전반적으로 애드테크에 대해 좋아하는 점은 매우 다학제적이라는 것입니다. 모든 것을 알 수는 없습니다. 누구나 각자 무언가를 기여하며, 항상 다른 사람들로부터 배울 수 있고 해결을 기다리는 흥미로운 문제들을 끊임없이 만나게 됩니다.

아마존은 새로운 아이디어를 공유하는 것을 진정으로 장려하는 문화를 제공합니다. 자신의 아이디어에 대해 많은 질문을 받게 될 것이며, 일반적으로 자신이 생각하는 것의 장점을 토론하는 많은 논의가 오고 갈 것입니다. 하지만 사람들은 새로운 아이디어를 매우 잘 받아들이며 그 과정을 통해 자신의 사고를 철저히 검증하고 높은 품질의 결과물을 만들어낼 수 있습니다. 매우 협력적이고 지원이 잘 이루어지는 조직입니다.

본인의 직책에서 광고를 어떻게 재구상하고 계신가요?

온라인 광고는 오랫동안 존재해 왔습니다. 우리는 먼 길을 왔지만, 아직 할 일이 많이 남아 있습니다. 이해를 돕기 위해 말씀드리자면, 제가 이 업계에 처음 발을 들였을 때는 사용자 수준의 데이터가 없었고, 알고리즘은 원시적이었으며, 광고주들은 자동화된 광고가 무엇을 할 수 있는지에 대해 거의 아는 바가 없었습니다.

지금은 모델링과 최적화를 위해 방대한 양의 세분화된 데이터를 사용할 수 있으며, 최적화와 제어를 위한 고급 알고리즘이 개발되었고, 새로운 유형의 광고 형식이 등장했습니다. 또한, 오늘날의 광고주들은 정통하고 요구 사항이 많으며, 높은 투자 수익률을 기대합니다. 지난 20년간의 엄청난 발전에도 불구하고, 우리 앞에는 다양한 스킬을 가진 사람들이 연구하고 해결해야 할 과제들이 많이 남아 있습니다. 머신 러닝, AI, 피드백 제어, 통계학, 응용 수학 분야의 배경을 가진 사람들에게는 아마존 광고나 광고 업계에서 흥미로운 경력을 쌓을 많은 기회가 있을 것으로 기대합니다.