KOEN
Read Original
#DevOps

휴먼 인프라스트럭처: 넷플릭스가 대규모 라이브 스트리밍을 뒷받침하는 운영 레이어를 구축한 방법

휴먼 인프라스트럭처: 넷플릭스가 대규모 라이브 스트리밍을 뒷받침하는 운영 레이어를 구축한 방법
01

Summary

엔지니어는 개발만 하세요, 운영은 '함대'가 합니다: 넷플릭스 라이브 운영의 비밀

동시 접속 6,400만 명을 감당하는 넷플릭스의 미션 컨트롤급 '휴먼 인프라' 구축기

넷플릭스가 단순 VOD 플랫폼을 넘어 글로벌 라이브 방송국으로 진화하며 구축한 운영 아키텍처의 정수를 공개합니다. 전통적인 방송 기술과 현대적 SRE 기법을 결합하여 대규모 라이브 이벤트를 안정적으로 관리하는 전략을 다룹니다.

  • 01엔지니어 중심 운영에서 전문화된 TOC 함대 모델로의 진화
  • 02초당 3,800만 건의 데이터를 처리하는 실시간 관제 스택 구축
  • 03이벤트 중요도에 따른 4단계 운영 레벨(LOL) 및 티어링 시스템
  • 04신호 신뢰성을 위한 3중 전송 경로 및 하드웨어 이중화 전략
  • 05커뮤니케이션 과부하를 해결하기 위한 '스쿼드 모델' 도입

RECOMMENDATION

대규모 트래픽을 처리하는 SRE나 인프라 엔지니어, 특히 라이브 스트리밍으로의 서비스 확장을 고민하는 팀에게 실질적인 운영 프레임워크를 제공합니다.

The Problem

넷플릭스가 SVOD에서 대규모 라이브 스트리밍으로 전환하며 기존의 엔지니어 중심 수동 운영 체계가 한계에 부딪혔습니다. 특히 급격히 늘어난 이벤트 수와 동시 접속자 대응을 위한 실시간 관제 및 전문화된 운영 프로세스의 부재로 인해 확장성에 어려움을 겪었습니다.

The Solution

방송 운영 센터(BOC)와 라이브 커맨드 센터(LCC)를 구축하고, TCO/SCO/BCO 등 전문 역할을 세분화한 '함대형(Fleet)' 운영 모델을 도입했습니다. 이벤트 중요도에 따른 티어링 시스템(Big Bet)과 실시간 텔레메트리 관제 스택을 통해 신호 수집부터 송출까지의 전 과정을 체계화했습니다.

The Result

월 1회에서 70회 이상의 라이브 이벤트를 처리할 수 있도록 확장되었으며, WBC 1,790만 명 및 타이슨/폴 경기 6,400만 명의 동시 접속자를 안정적으로 처리했습니다. 초당 3,800만 건의 이벤트를 분석하는 실시간 가시성을 통해 사고 대응 능력을 획기적으로 개선했습니다.

Trade-off

함대형 운영 모델은 효율성을 높이지만 표준화된 런북에 대한 의존성을 높이며, 대규모 '빅 벳' 이벤트의 경우 여전히 막대한 인적 자원이 투입되어야 합니다. 자동화된 알림 시스템이 존재하나, 최상위 가시성이 필요한 상황에서는 인적 개입이 필수적인 구조입니다.

03

Key Concepts

Concept · 01

BOC (Broadcast Operations Center)

현장의 비디오 피드를 수신하여 스트리밍 인프라로 전달하는 물리적/기술적 관제 허브입니다.

  • 신호 수집, 검사, 자막 삽입 및 광고 관리 수행
  • 이중화된 회선과 SMPTE 2022-7 기술로 높은 신뢰성 확보
Concept · 02

TOC Fleet Model

라이브 이벤트를 개별 발사가 아닌 함대 운영처럼 관리하여 효율성을 극대화하는 모델입니다.

  • TCO(수신), SCO(송출), BCO(품질 제어)로 역할 분담
  • 하나의 운영자가 최대 5개의 이벤트를 동시 관리하여 확장성 확보
Concept · 03

LCC (Live Command Center)

전체 스트리밍 파이프라인의 엔드 투 엔드 상태를 모니터링하고 사고 대응을 조율하는 센터입니다.

  • 실시간 가시성을 위한 전용 관제 스택 운영
  • 기술, 제품, 고객 서비스 등 다학제적 팀 간의 에어 트래픽 컨트롤 역할