KOEN
Read Original
#Backend

넷플릭스가 Kueue를 통해 배치 컴퓨팅을 단순화한 방법

넷플릭스가 Kueue를 통해 배치 컴퓨팅을 단순화한 방법
01

Summary

넷플릭스는 왜 6년 된 커스텀 배치 시스템을 버리고 'Kueue'를 선택했나?

수백만 개의 작업을 중단 없이 이전하며 달성한 리소스 최적화와 운영 효율화의 비결

이 아티클은 넷플릭스가 자체 제작한 배치 관리 솔루션(CMB)을 쿠버네티스 표준 오픈소스인 Kueue로 전환한 여정을 다룹니다. 기존 시스템의 복잡성을 해결하고 선점형 스케줄링 같은 고도화된 기능을 확보하기 위해 선택한 전략과 기술적 도전 과제들을 상세히 공유합니다.

  • 01커스텀 스케줄러 대신 표준 쿠버네티스 생태계의 Kueue를 선택하여 유지보수 비용 절감
  • 02사용자 경험에 변화를 주지 않는 'Zero-lift' 마이그레이션 전략 및 API 하위 호환성 유지
  • 03가장 복잡한 워크로드를 초기에 마이그레이션하여 4주 만에 전체 프로덕션 전환 완료
  • 04선점형 공정 분배(Preemption-based Fair Sharing) 도입으로 유휴 리소스 활용도 극대화
  • 05넷플릭스 규모의 처리량을 견디기 위한 Kueue 컨트롤러 성능 튜닝 사례

RECOMMENDATION

쿠버네티스 기반의 대규모 배치 워크로드나 머신러닝 학습 인프라를 운영하면서 리소스 격리와 공유 사이의 균형을 고민하는 인프라 엔지니어에게 추천합니다.

The Problem

넷플릭스의 기존 배치 솔루션인 CMB는 2018년에 구축된 커스텀 시스템으로, 쿠버네티스 생태계가 발전함에 따라 최신 기능인 선점형 스케줄링(Preemption)과 공정 분배(Fair Sharing)를 자체적으로 구현하고 유지보수하는 데 한계가 있었습니다.

The Solution

쿠버네티스 네이티브 잡 큐잉 시스템인 Kueue를 도입하여 CMB의 큐잉 및 스케줄링 로직을 대체했습니다. 기존 테넌트 계층 구조를 Kueue의 Cohort와 ClusterQueue로 매핑하고, API 하위 호환성을 유지하여 사용자 개입 없는 투명한 마이그레이션을 수행했습니다.

The Result

수백만 개의 배치 작업을 성공적으로 마이그레이션했으며, 선점형 공정 분배를 통해 예약된 리소스의 유휴 공간 활용률을 크게 높였습니다. 또한 기본 컨트롤러의 QPS 및 동시성 설정을 넷플릭스 규모에 맞게 튜닝하여 대규모 처리량을 확보했습니다.

Trade-off

넷플릭스의 대규모 워크로드를 처리하기 위해 Kueue의 기본 QPS, 버스트(Burst) 및 동시성 설정을 표준값보다 훨씬 높게 조정해야 했으며, 이는 시스템 안정성을 위해 세밀한 부하 테스트가 선행되어야 함을 의미합니다.

03

Key Concepts

Concept · 01

Kueue

쿠버네티스 네이티브 잡 큐잉 시스템으로, 파드 스케줄링 자체를 대체하지 않고 작업의 대기열과 할당량을 관리합니다.

  • Titus의 기존 스케줄링 프로필과 통합되어 배치 작업의 순서와 우선순위를 결정하는 데 사용되었습니다.
Concept · 02

Preemption-based Fair Sharing

낮은 우선순위의 작업을 중단시키고 높은 우선순위의 작업에 리소스를 할당하며, 예약된 리소스를 타 테넌트가 빌려 쓸 수 있게 하는 메커니즘입니다.

  • 비즈니스 크리티컬한 작업의 턴어라운드 시간을 단축하고 전체 클러스터 활용률을 높이는 핵심 기능으로 활용되었습니다.
Concept · 03

Cohort

여러 ClusterQueue가 리소스를 공유할 수 있도록 묶어주는 Kueue의 논리적 그룹 단위입니다.

  • 기존 CMB의 내부 테넌트(Internal Tenant) 구조를 매핑하여 계층적인 리소스 공유 모델을 구현했습니다.