#AI

넷플릭스의 자체 LLM 서빙 플랫폼 구축기

Summary

API 호출은 끝났다: 넷플릭스가 LLM 자체 서빙 플랫폼을 구축한 비결

vLLM과 Triton을 결합하여 무중단 배포와 고성능 제약 디코딩까지 정복한 넷플릭스의 풀스택 추론 플랫폼 아키텍처

넷플릭스는 대규모 서비스 환경에 맞춰 서드파티 호스팅 API를 걷어내고 직접 vLLM과 Triton Inference Server를 통합한 인하우스 서빙 인프라를 구축했습니다. 아키텍처 설계부터 프로덕션 단계에서 겪은 예상치 못한 병목과 그 해결책을 고스란히 담아 실무적인 엔지니어링 통찰을 제공합니다.

01vLLM을 표준 엔진으로 도입하여 커스텀 모델 컴파일 프로세스를 단순화하고 추론 개발 생산성 향상
02Triton vLLM 백엔드로 I/O 스펙 정의를 자동화하여 프론트엔드와 모델 개발 주기 디커플링 성공
03기존 인프라 제어를 위해 gRPC와 OpenAI 호환 API 프론트엔드를 이중 제공하여 실험-운영 간 장벽 제거
04변수 내장 설계를 통한 무중단 Red-Black 배포와 breaking change 대응용 버전별 배포의 하이브리드 운영
05vLLM V0의 GIL 병목을 vLLM V1 마이그레이션과 C++ 멀티스레드 기반 배치 logits 프로세서 구현으로 해결

RECOMMENDATION

LLM 인하우스 배포 및 미세조정 서비스를 설계하고 있거나 대규모 트래픽에서 구조화된 데이터 출력을 보장하는 실시간 추론 최적화가 필요하다면 본문의 Triton-vLLM 하이브리드 구축 패턴과 배출량 병목 제어 설계를 필독하기 권장합니다.

The Problem

넷플릭스는 비용 및 데이터 개인정보 보호 등의 이유로 호스트형 API 대신 자체 프로덕션 환경 내에 전체 LLM 서빙 스택을 구축하고자 했습니다. 이 과정에서 모델 컴파일 속도 단축, 동적 I/O 스펙 지원, 무중단 배포 관리, 배치의 규모가 커짐에 따른 실시간 출력 제약 디코딩 시의 CPU 병목 현상 해결이라는 기술적 과제에 직면했습니다.

The Solution

넷플릭스는 기존 모델 스코어링 서비스(MSS) 환경에 vLLM을 NVIDIA Triton의 백엔드로 통합하고 자바 기반의 컨트롤 플레인과 OpenAI 호환 프론트엔드를 추가했습니다. 제약 디코딩 병목을 해결하기 위해 vLLM V1으로 마이그레이션하여 상태 관리를 효율화하고, C++ 기반 멀티스레드 배치 수준의 logits 프로세서를 재구현했습니다.

The Result

OpenAI 표준 인터페이스를 활용하여 연구에서 프로덕션 단계까지 원활한 이식이 가능해졌으며, Red-Black 및 버전별 배포 전략으로 고도화된 롤아웃 안정성을 확보했습니다. 특히 vLLM V1 및 C++ 커스텀 logits 프로세서 도입을 통해 배치 크기 증가에도 추론 레이턴시를 평탄하게 유지하는 성능 향상을 달성했습니다.

Trade-off

Triton vLLM 백엔드 사용 시 Triton과 vLLM 라이브러리 간의 버전 동기화 문제가 발생하여 플랫폼 레벨의 버전 고정이 강제되며, 커스텀 실행 로직이 필요한 모델은 유지보수가 번거로운 Python 백엔드 방식을 혼용해야 합니다. 또한 배포 안정성을 위해 버전별 배포 전략을 취할 때 임시로 추가 GPU 인프라 비용이 소모됩니다.

Key Concepts

Concept · 01

vLLM

PagedAttention 등의 효율적인 메모리 관리 기법을 활용하여 대규모 언어 모델의 추론 속도와 처리량을 극대화하는 오픈소스 LLM 서빙 엔진입니다.

컴파일 없이 커스텀 아키텍처를 원활히 로드하기 위해 넷플릭스의 표준 서빙 엔진으로 채택되었습니다.
V1 버전으로의 마이그레이션을 거쳐 동적 배치 내에서 복잡한 제약 연산을 병렬화하는 토대가 되었습니다.

Concept · 02

Triton Inference Server

NVIDIA가 개발한 추론 서버 프레임워크로, GPU/CPU 하드웨어를 최대로 활용하여 다중 머신러닝 프레임워크 모델을 통합 구동할 수 있도록 지원합니다.

넷플릭스 내 MSS의 컴퓨팅 엔진 역할을 하며 vLLM을 백엔드로 탑재해 추론과 리소스 관리 성능을 통합했습니다.

Concept · 03

Constrained Decoding (제약 디코딩)

생성되는 토큰의 확률(logits)에 실시간으로 규칙 마스크를 적용해 JSON 포맷 등 규정된 스키마에 부합하는 토큰만 생성되도록 보장하는 기법입니다.

생성 후 결과 유효성 검증과 재시도 비용을 아끼기 위해 디코딩 루프 내부로 제약 조건을 이식했습니다.
vLLM의 logits processor 인터페이스를 활용해 각 요청별로 유효 토큰 마스크를 계산하는 로직으로 구현되었습니다.

Continue reading · same source

More from Netflix

View all posts from Netflix

넷플릭스의 자체 LLM 서빙 플랫폼 구축기

Summary

API 호출은 끝났다: 넷플릭스가 LLM 자체 서빙 플랫폼을 구축한 비결

RECOMMENDATION

Engineering Deep Dive

The Problem

The Solution

The Result

Key Concepts

vLLM

Triton Inference Server

Constrained Decoding (제약 디코딩)

More from Netflix

GenPage: 넷플릭스의 엔드 투 엔드 생성형 홈 화면 구축을 향한 여정

더 정교한 AI 비디오 편집을 향하여: 넷플릭스의 초기 연구 탐색

넷플릭스가 Kueue를 통해 배치 컴퓨팅을 단순화한 방법

데이터 카나리: 넷플릭스가 카탈로그 메타데이터를 검증하는 방법

데이터 프로젝트: 넷플릭스 규모에서의 데이터 자산 관리

Summary

API 호출은 끝났다: 넷플릭스가 LLM 자체 서빙 플랫폼을 구축한 비결

+RECOMMENDATION

Engineering Deep Dive

The Problem

The Solution

The Result

Key Concepts

vLLM

Triton Inference Server

Constrained Decoding (제약 디코딩)

More from Netflix

GenPage: 넷플릭스의 엔드 투 엔드 생성형 홈 화면 구축을 향한 여정

더 정교한 AI 비디오 편집을 향하여: 넷플릭스의 초기 연구 탐색

넷플릭스가 Kueue를 통해 배치 컴퓨팅을 단순화한 방법

데이터 카나리: 넷플릭스가 카탈로그 메타데이터를 검증하는 방법

데이터 프로젝트: 넷플릭스 규모에서의 데이터 자산 관리

Related reads#vLLM

대규모 서비스 환경에서의 이미지 콘텐츠 모더레이션(feat. 멀티모달 LLM)

RECOMMENDATION