#AI

넷플릭스의 머신러닝 민주화: 모델 라이프사이클 그래프 구축기

Summary

파편화된 인프라를 뚫고 데이터 계보와 비즈니스 영향도를 한눈에 파악하는 메타데이터의 힘

본 아티클은 넷플릭스가 비즈니스 전반에 걸친 ML 모델의 복잡성을 해결하기 위해 구축한 '메타데이터 서비스(MDS)'와 '모델 라이프사이클 그래프'의 아키텍처를 소개합니다. 기술적 고립을 넘어 전사적 ML 자산의 가시성을 확보한 여정을 상세히 다룹니다.

파편화된 데이터 인프라로 인해 모델 관리에 어려움을 겪고 있는 플랫폼 엔지니어나, 대규모 ML 옵스(MLOps) 환경을 설계하려는 시니어 개발자에게 강력히 추천합니다.

넷플릭스가 개인화, 스튜디오, 결제 등 다양한 도메인으로 머신러닝 활용을 확장하면서, 각기 다른 기술 스택과 인프라로 인해 모델이 '블랙박스'화되고 팀 간 협업과 자산 공유가 어려워졌습니다.

파편화된 메타데이터를 통합하기 위해 URI 기반 식별 체계를 도입하고, Kafka 기반 이벤트 수집과 Datomic(그래프), Elasticsearch(검색)를 결합한 '모델 라이프사이클 그래프' 중심의 메타데이터 서비스(MDS)를 구축했습니다.

모든 ML 자산을 검색 및 탐색 가능한 그래프로 연결함으로써 모델의 업스트림 데이터 소스부터 다운스트림 A/B 테스트 영향도까지 실시간으로 파악할 수 있게 되었으며, 도메인 간의 기술적 교류가 활성화되었습니다.

Trade-off

원본 시스템의 최신 상태를 유지하기 위한 보강(Enrichment) 과정에서 소스 시스템에 추가적인 읽기 부하가 발생하며, 비동기 처리 특성상 관계 정보가 반영되기까지 수 분의 지연이 발생할 수 있습니다.

Concept · 01

ML 모델의 생성, 학습 파이프라인, 데이터셋, 배포, 그리고 A/B 테스트 실험까지의 전 과정을 노드와 엣지로 연결한 데이터 구조입니다.

Concept · 02

불변성을 기반으로 한 선언적 데이터베이스로, 특정 시점의 데이터 상태를 보존하면서 복잡한 그래프 쿼리를 수행하는 데 적합합니다.

Concept · 03

최소한의 변경 이벤트가 수신되면, MDS가 원본 시스템의 API를 호출하여 상세 정보를 가져오고 표준화된 모델로 변환하는 프로세스입니다.

Continue reading · same source