KOEN
Read Original
#AI

MAPS: 넷플릭스의 대규모 멀티모달 에셋 개인화

MAPS: 넷플릭스의 대규모 멀티모달 에셋 개인화
01

Summary

넷플릭스가 신작 포스터를 개인화하는 법: 멀티모달 AI로 콜드 스타트 정복하기

CLIP과 MediaFM 임베딩을 결합해 데이터가 전혀 없는 신규 에셋도 취향에 맞춰 즉시 추천하는 기술적 여정

넷플릭스는 에셋(이미지 및 비디오 프리뷰)의 ID만 매핑하던 기존 추천 시스템의 한계를 극복하기 위해 멀티모달 임베딩 기술인 MAPS를 도입했습니다. CLIP을 통해 이미지 내 시각 정보와 검색 키워드를 매핑하고, 3개 채널(비주얼, 오디오, 텍스트)을 융합한 MediaFM으로 비디오 프리뷰를 개인화했습니다. 이 글은 모델 통합과 콜드 스타트 문제 해결, 그리고 비용 효율적인 임베딩 평가 방식까지 넷플릭스의 엔지니어링 혁신을 다룹니다.

  • 01ID 대신 그림을 보는 AI: CLIP의 768차원 이미지 임베딩을 에셋 표상에 결합하여 이미지의 시각적 테마와 인물을 즉시 인지
  • 025개 채널 모델의 대통합: 크기나 비율에 구애받지 않는 CLIP의 특성을 활용해 분산되어 있던 캔버스별 모델을 단일 모델로 단일화
  • 03정밀한 보상 기반 가중치: 노출 수 차이로 인한 왜곡을 막기 위해 장기 만족도 리워드 점수를 반영한 손실 함수 가중치 설계
  • 04MediaFM의 소리까지 듣는 추천: 비디오 프리뷰 추천에 단순 화면 프레임뿐만 아니라 오디오 및 캡션 텍스트까지 융합한 자체 파운데이션 모델 활용
  • 05Proxy Task를 통한 저비용 검증: 수 주가 소요되는 A/B 테스트 대신, 임베딩 벡터 자체로 인기도를 예측하는 선형 프로브 모델을 통해 새로운 임베딩 신속 검증

RECOMMENDATION

콜드 스타트 문제를 겪고 있는 대규모 미디어/커머스 플랫폼의 추천 시스템 엔지니어들에게 추천합니다. 특히 다중 포맷 콘텐츠를 다룰 때 개별 모델을 난립시키지 않고 멀티모달 임베딩을 통해 모델을 통합하고 데이터 효율을 극대화하는 실무 설계 노하우를 얻을 수 있습니다.

The Problem

새로운 콘텐츠가 출시되거나 새로운 UI가 론칭되는 콜드 스타트 상황에서, 기존의 ID 기반 추천 모델은 사용자 상호작용 데이터가 부족하여 신규 에셋에 대한 개인화 추천을 제공하지 못했습니다.

The Solution

CLIP 이미지 임베딩과 자체 멀티모달 파운데이션 모델인 MediaFM을 결합하여 에셋의 실제 시각적/청각적 특징을 모델이 인지할 수 있게 했으며, 캔버스별 모델을 단일 통합 모델로 개편하고 보상 기반 가중치(Reward-based weighting)를 도입했습니다.

The Result

5개의 모델을 하나로 통합하고 신규 에셋의 콜드 스타트 문제를 해소하여 오프라인 IPS 성능을 향상(Short-panel 캔버스에서 5.69% 향상)시켰으며, 온라인 대규모 A/B 테스트에서도 스트리밍 및 탐색 지표의 유의미한 성장을 보였습니다.

Trade-off

다양한 캔버스 간의 극심한 데이터 불균형 문제를 해소하기 위해 복잡한 보상 기반 가중치 및 역성향 가중치(IPS) 설계가 필수적이었으며, 고차원 임베딩 결합으로 인한 서빙 및 인프라 연산량 부담이 발생할 수 있습니다.

03

Key Concepts

Concept · 01

CLIP

오픈AI가 개발한 이미지-텍스트 대조 학습 모델로, 텍스트 쿼리와 이미지를 동일한 다차원 벡터 공간 상에 매핑합니다.

  • 넷플릭스는 이를 사용해 신규 에셋의 시각적 특징(배우, 테마 등)을 768차원 벡터로 즉시 추출하고 개인화 모델에 입력했습니다.
  • 검색 페이지에서 검색 쿼리와 이미지 간의 코사인 유사도를 계산하여 쿼리 맞춤형 포스터를 추천하는 데 활용했습니다.
Concept · 02

MediaFM

시각, 청각 및 텍스트 데이터의 세 가지 모달리티를 단일 벡터 공간으로 결합하는 넷플릭스 자체 개발의 미디어 전용 대규모 파운데이션 모델입니다.

  • 비디오 프리뷰 추천에서 화면 프레임 특징(SeqCLIP)뿐만 아니라 대사 자막과 배경 음악 정보까지 융합하여 정교한 추천을 유도했습니다.
  • 기본 ID 기반 추천 및 이미지 중심 추천보다 온라인 A/B 테스트에서 가장 높은 성능 우위를 확보했습니다.
Concept · 03

Inverse Propensity Scoring (IPS)

수집된 과거 탐색(Exploration) 트래픽의 무작위 표본 데이터를 이용하여 오프라인에서 새로운 추천 정책의 예상 효율을 왜곡 없이 측정하는 인과 추론 방법론입니다.

  • 탐색 트래픽에서 관측된 실제 에셋 노출 확률의 역수를 가중치로 적용해 과거 추천 정합성 오류를 교정했습니다.
  • A/B 테스트 배포 이전에 오프라인 평갓값과 실제 온라인 결과의 정합성을 보장하는 데 결정적인 역할을 수행했습니다.