논문 : Recommending What Video to Watch Next: A Multitask Ranking System
저자 : Zhe Zhao, Lichan Hong, Li Wei, Jilin Chen, Aniruddh Nath, Shawn Andrews, Aditee Kumthekar, Maheswaran Sathiamoorthy, Xinyang Yi, Ed Chi
논문 선정 계기
2016년 유튜브에서 발표한 논문을 읽고 난 후 2019년에는 어떻게 발전되었는지 어떠한 부분이 달라졌는지에 대해 궁금증에 생겨 이 논문을 선정하게 되었습니다. 또한 현재 존재하는 유튜브 관련 논문 중 가장 최신이고 발전된 내용을 담고 있어 함께 공유하면 좋을 것 같아 가져오게 되었습니다.
Introduction
이전 2016년 논문에서도 설명했듯이 유튜브의 추천시스템은 candidate generation → ranking 2단계로 이루어져 있습니다. 그 중 2019년 논문은 candidate generation에 집중했던 2016년 논문과 달리 ranking 모델에 집중해 어떻게 풀어나가고 있는지 설명하고 있습니다. 먼저 어떤 것을 최적화 할 것인지에 대한 문제와 높은 순위에 있어 시청을 했을 가능성 또한 배제할 수 없다는 것입니다.
위에서 말한 2가지 내용을 요약하면 objective를 잘 설정하는 것 그리고 추천의 bias를 잘 제거하는 것을 말합니다. 이 문제를 해결하기 위해 유튜브에서는 multitask neural network 방법을 도입했습니다.
이 모델의 구조는 Multi-gate Mixture-of-Experts(MMoE)를 적용한 것으로 objective를 분리하여 multitask learning을 구현합니다. 앞선 논문에서 말했듯이 다음에 시청할 영상만을 objective로 하여 예측한다면 광고나 낚시성 영상에 이끌릴 수 있는 확률이 높아지기 때문에 ‘얼마나 시청할지’, ‘선호하는지’ 등의 objective를 분리하면 예측의 성능을 높일 수 있습니다. objective는 총 2개의 그룹으로 유저의 클릭, 영상에 대한 engagement를 가지고 있는 ‘engagement objective’와 유저가 영상을 좋아했는지에 관한 ‘satisfaction objective’로 나누어집니다.
Related Works
1. Industrial Recommendation Systems
추천시스템에서 중요한 점을 고르라고 하면 3가지가 있을 것입니다. 그 중 가장 중요한 것은 이전 논문에도 나왔듯이 implicit 피드백을 하는 것입니다. explicit 피드백은 현실적으로 어렵고 크게 의미가 없기 때문입니다. 다음으로 중요한 것은 stage를 나누는 것입니다. candidate generation → ranking 2단계로 이루어져 있는 것을 말합니다. 마지막으로는 scalability로 많은 양의 데이터를 실시간으로 업데이트하는 과정이 필요합니다.
2. Modeling Biases in Training Data
유튜브에서는 추천시스템이 추천해준 영상을 유저가 클릭하게 되면 이를 또 추천시스템이 학습하게 되는 feedback loop가 발생하게 됩니다. 이 때문에 유저와 추천시스템 사이에서는 selection bias가 필수적으로 발생합니다. 이 문제를 해결하기 위해 높은 순위에 위치한 영상의 경우 학습 시 가중치를 일부러 낮추는 방법을 이용합니다.
Model Architecture
1. Ranking Objectives
ranking 모델은 MMoE를 기반으로 하며 objective를 2가지로 분리했습니다. 첫 번째는 engagement에 관한 것으로 유저의 클릭(binary classification task)과 시청 시간(regression task)으로 나누어집니다. 다음 두 번째는 satisfaction에 관한 것으로 좋아요(binary classification task)와 rating(regression task)와 관한 것입니다. 그리고 multiple objectives를 combined score로 사용하고 있습니다.
2. Modeling and Removing Position and Selection Biases
위 그림은 selection bias에 관한 것으로 serving시에 missing value로 통과해 높은 순위에 페널티를 주는 방식을 설명하고 있습니다. 추천 랭킹 순위를 feature로 활용한 것과 다른 feature 값을 linear combination하여 selection bias로 만든것입니다.
Results
모델의 성능에 대해 MMoE를 적용 한 것과 안한 것의 성능 대조, Expert utilization에 대한 시각화(Gating network distribution), wide feature(position bias)와 관련된 CTR 대조를 나타내었습니다.
1. YouTube live experiment results for MMoE
위 표를 통해 wide and deep 기반의 shared bottom network만을 적용한 것 보다 experts를 추가한 MMoE가 성능이 더 좋은 것을 알 수 있습니다. 또한 experts가 많아질수록 성능이 좋아지는 것을 확인할 수 있습니다.
2. Expert utilization for multiple tasks on YouTube
위 표는 Gating network에서 softmax layer의 probability를 나타낸 것입니다. 특정 task가 특정 expert를 선호하는 경향이 있는 것을 확인할 수 있습니다.
결과 및 의의
유튜브는 개인화 추천 알고리즘을 도입하면서 여러 난관에 봉착을 했는데 그 중 이번 논문에서는 engagement와 satisfaction, 그리고 bias 문제를 어떻게 다룰 것인가에 대해 깊이 다루고 있습니다. engagement의 경우 클릭과 더불어 시청시간을 반영해 해결하고자 했으며 satisfaction의 경우 좋아요와 별점 여부를 통해 유저가 직접적으로 주는 피드백만을 사용해 문제를 해결하고자 했습니다. 그리고 bias의 경우 상위 랭킹된 영상에 가중치를 낮게 주어 계속적으로 학습되는 결과를 도출하지 않도록 설계했습니다. 이를 통해 유튜브는 더 나은 추천 알고리즘을 만들기 위해 노력했고 앞으로도 지금 있는 문제를 개선시킬 또 다른 추천 알고리즘이 등장하지 않을까 생각됩니다.
