KOEN
Read Original
#Backend

데이터 프로젝트: 넷플릭스 규모에서의 데이터 자산 관리

데이터 프로젝트: 넷플릭스 규모에서의 데이터 자산 관리
01

Summary

넷플릭스가 수백만 개의 데이터 자산을 관리하는 법: '사람'이 아닌 '프로젝트'에 집중하라

조직 개편에도 무너지지 않는 내구성 있는 데이터 거버넌스, 'Data Projects' 아키텍처 공개

넷플릭스 기술 블로그에서 소개하는 'Data Projects'는 대규모 엔지니어링 환경에서 발생하는 권한 관리의 한계를 극복하기 위한 새로운 패러다임입니다. 자산과 워크플로우를 논리적 그룹으로 묶고 고유한 애플리케이션 ID를 부여함으로써, 인력 변동과 상관없이 비즈니스 핵심 파이프라인을 안정적으로 유지하는 방법을 제시합니다.

  • 01인간 엔지니어의 계정이 아닌 서비스 중심의 내구성 있는 ID(Durable Identity) 도입
  • 02자산 생성 시 자동으로 프로젝트에 귀속되는 'Gravity(중력)' 개념을 통한 자동화된 거버넌스
  • 03Maestro 워크플로우 엔진과의 통합을 통한 보안 토큰 발급 및 신뢰할 수 있는 실행 환경 구축
  • 04AWS IAM과 넷플릭스 내부 ID 시스템 간의 암호학적 교환을 통한 하이브리드 환경 지원
  • 05수만 개의 자산을 관리하는 스트리밍 품질(QoE) 파이프라인 등 실제 운영 성공 사례 제시

RECOMMENDATION

대규모 데이터 플랫폼을 운영하며 잦은 조직 변경이나 인력 이동으로 인한 권한 관리 및 워크플로우 장애를 겪고 있는 데이터 엔지니어링 팀에 강력히 추천합니다.

The Problem

넷플릭스는 수백만 개의 테이블과 수만 개의 워크플로우를 보유하고 있으나, 기존의 개별 자산 단위 권한 관리(ACL)와 사람 중심의 실행 ID 모델은 조직 개편이나 인력 이동 시 권한 누락 및 워크플로우 중단을 야기했습니다.

The Solution

관련 자산들을 하나의 논리적 단위로 묶는 '데이터 프로젝트' 컨테이너와, 인간의 생명주기와 독립적으로 실행되는 '내구성 있는 합성 정체성(Synthetic Identity)'을 도입하여 권한 관리의 단위를 격상시켰습니다.

The Result

수만 개의 자산을 포함하는 대규모 파이프라인의 안정성이 확보되었으며, 'Gravity' 기능을 통해 워크플로우가 생성한 신규 자산이 프로젝트에 자동 할당됨으로써 데이터 가시성과 보안 관리 효율이 크게 향상되었습니다.

Trade-off

기존 워크플로우를 데이터 프로젝트로 이관할 때 정확한 권한 매핑을 위한 사전 분석 작업이 필요하며, 개별 자산 단위의 미세 제어보다는 프로젝트 단위의 추상화된 관리에 더 집중하게 됩니다.

03

Key Concepts

Concept · 01

Synthetic Identity

실제 사용자와 독립적으로 존재하는 가상의 애플리케이션 정체성으로, 워크플로우 실행 시 인증의 주체가 됩니다.

  • 사람의 퇴사나 팀 변경에 상관없이 워크플로우가 지속적으로 실행될 수 있도록 보장함
  • 넷플릭스 애플리케이션 ID 및 AWS IAM 역할과 연동됨
Concept · 02

Gravity (중력)

특정 프로젝트 ID로 실행되는 워크플로우가 생성한 모든 산출물이 자동으로 해당 프로젝트에 귀속되는 메커니즘입니다.

  • 신규 테이블 생성 시 별도 설정 없이도 프로젝트의 보안 정책을 상속받음
  • 데이터 자산의 유실을 방지하고 발견 가능성을 높임
Concept · 03

Trusted Workload Manager (TWM)

워크플로우를 대신하여 보안 토큰을 발급할 수 있는 권한을 부여받은 신뢰할 수 있는 시스템입니다.

  • 넷플릭스의 Maestro가 이 역할을 수행하여 프로젝트 ID 기반의 인증을 처리함
  • 다양한 인프라(Data Warehouse, AWS 등)에 대한 일관된 권한 검증 가능