넷플릭스의 마운트 대소동: 현대적인 CPU에서 컨테이너 스케일링하기
Summary
넷플릭스는 왜 최신 CPU에서 컨테이너 실행 속도가 느려지는 문제를 겪었을까?
리눅스 커널 VFS 락 경합부터 하드웨어 캐시 아키텍처까지, 넷플릭스가 찾아낸 컨테이너 런타임 최적화의 비밀.
이 글은 넷플릭스가 새로운 컨테이너 플랫폼으로 전환하며 겪은 시스템 락 현상의 원인을 하드웨어 수준까지 깊이 파고들어 분석한 기술 리포트입니다. 단순히 소프트웨어 설정의 문제가 아니라, 최신 CPU의 NUMA 및 캐시 구조가 글로벌 락과 만났을 때 발생하는 성능 병목을 실증적인 벤치마크와 함께 설명합니다.
- 01컨테이너 이미지 레이어 수(50+)에 비례하여 기하급수적으로 증가하는 마운트 작업의 위험성 분석
- 02리눅스 커널 VFS 글로벌 락 경합이 시스템 전체 지연(30초 이상)에 미치는 영향 확인
- 03Intel(중앙 집중식 캐시)과 AMD(분산형 캐시) 아키텍처 간의 락 경합 처리 성능 차이 규명
- 04하이퍼스레딩(HT) 비활성화를 통한 락 경합 지연 시간 20-30% 개선 사례 공유
- 05containerd 오픈소스 기여를 통해 마운트 로직을 O(n)에서 O(1)로 개선하여 근본적 해결
RECOMMENDATION
대규모 컨테이너 환경을 운영한다면 이미지 레이어 수를 최적화하고, 특히 보안을 위한 idmap 기능을 사용할 때 하드웨어 특성에 따른 런타임 성능 저하 가능성을 반드시 검토해야 합니다.
The Problem
넷플릭스가 새로운 컨테이너 런타임(kubelet + containerd)으로 전환하는 과정에서 수많은 레이어를 가진 컨테이너를 대규모로 동시 실행할 때 시스템이 멈추거나 30초 이상의 상태 체크 타임아웃이 발생하는 병목 현상이 발견되었습니다.
The Solution
리눅스 커널 VFS의 글로벌 락 경합을 원인으로 식별하고, containerd 소스 코드 수정을 통해 각 레이어마다 수행되던 마운트 작업을 부모 디렉토리 기반의 단일 작업(O(n)에서 O(1))으로 최적화했습니다.
The Result
글로벌 락 경합을 제거함으로써 CPU 아키텍처와 관계없이 안정적인 스케일링이 가능해졌으며, 기존에 락 경합으로 인해 낭비되던 CPU 리소스를 복구하고 컨테이너 시작 지연 시간을 정상화했습니다.
Trade-off
보안 강화를 위해 컨테이너별 고유 사용자 범위를 사용하는 idmap 기능을 도입했으나, 이것이 역설적으로 커널 마운트 작업의 폭증을 야기하여 성능과 보안 사이의 초기 균형 조정이 필요했습니다.
Key Concepts
More from Netflix
View all posts from NetflixMAPS: 넷플릭스의 대규모 멀티모달 에셋 개인화
CLIPMediaFMRecommendation Systems1일 전두 개의 플링크 오토스케일러 이야기
Apache FlinkAutoscalingStream Processing1주 전넷플릭스가 실시간 분산 그래프를 구축한 방법과 이유: 3부 — gRPC 실행 API를 통한 그래프 쿼리
gRPCGraph DatabaseDistributed Systems3주 전분석을 위한 디바이스 사양 모델링
Data ModelingFeature ManagementAnalytics4주 전GenRec: 넷플릭스의 LLM 네이티브 추천 시스템을 향하여
LLMRecommendation SystemContext Engineering1개월 전