Read Original
#DevOps

감으로 맞추던 값을 식을 세워서 kubernetes 최적화하기

감으로 맞추던 값을 식을 세워서 kubernetes 최적화하기
01

Summary

감으로 맞추던 쿠버네티스 파라미터, 수학 수식과 AI로 풀어내다!

왓챠 플랫폼팀이 인코딩 인프라 비용은 최대 74% 줄이고 전체 작업 속도는 35% 끌어올린 모델 기반 최적화 가이드

복잡해진 Kubernetes 환경에서 단순히 값을 대입해 보며 최적점을 찾는 경험적 방식은 명확한 한계를 지닙니다. 왓챠 플랫폼팀은 비용과 시간의 트레이드오프 관계를 정밀한 수학적 수식으로 모델링하고, AI를 수식 수정 반복 비용을 줄이는 조력자로 활용하여 파드 확장 임계값의 최적해를 도출해냈습니다. 정밀한 변수 분석을 통해 프로덕션 환경의 비용 절감과 성능 향상을 동시에 달성한 모범적인 엔지니어링 사례입니다.

  • 01비용 및 시간 방정식을 유도하고 두 축 간의 트레이드오프 관계를 커브 그래프로 시각화
  • 02단일 마감 기한의 한계를 극복하기 위해 작업 시간을 확률 스펙트럼(Percentile)으로 정의
  • 03Pod 확장의 트레이드오프 변수(V=2)를 도출하여 인코딩 비용 45~74% 절감 달성
  • 04지배적 낭비 변수를 제거함으로써 파드 단위 작업 시간이 늘어났음에도 전체 처리 시간 14~35% 단축
  • 05AI를 최종 해결책이 아닌 반복 비용을 줄여주는 조력자로 정의하고 인간의 문제 정의 및 검증 역할 강조

RECOMMENDATION

Kubernetes 오토스케일링 및 자원 할당 파라미터 결정에 어려움을 겪는 DevOps 및 인프라 엔지니어에게 추천합니다. 시스템 트레이드오프를 수식화하고 AI를 생산성 도구로 결합하는 구조적 문제 해결 프레임워크를 배울 수 있습니다.

The Problem

왓챠의 영상 인코딩 플랫폼은 Kubernetes 전환 이후 오케스트레이션 변수가 복잡해지고 변수 간 상충 및 의존 관계로 인해 단순 경험이나 시도 기반으로는 최적의 자원 설정값을 찾기 힘든 문제에 직면했습니다.

The Solution

비용과 작업 소요 시간에 영향을 미치는 변수들을 구체화하여 수학적 방정식을 정립하고, AI의 조력을 받아 모델을 개선한 뒤 작업 완료 시간의 확률 스펙트럼과 허용 초과율을 기반으로 파드 확장 임계값(V=2)을 도출했습니다.

The Result

최적화 적용 결과 작업 시간당 비용이 45~74% 절감되었으며, 파드당 할당 세그먼트 수가 증가했음에도 불필요한 낭비 변수를 제거함으로써 전체 인코딩 소요 시간이 14%(느린 상위 5% 작업은 35%) 단축되었습니다.

Trade-off

파드와 세그먼트의 비율을 1:1에서 2:1로 늘림에 따라 개별 인코딩 단계 자체의 소요 시간은 약 2.3배 늘어났으며, AI가 생성한 초기 수식이 실제 환경과 다를 수 있어 지속적인 검증과 비판적 검토 비용이 소요됩니다.

03

Key Concepts

Concept · 01

모델 기반 접근 방식 (Model-based Approach)

시스템의 성능과 비용에 영향을 미치는 여러 변수의 관계를 수학적 방정식으로 정립하여 최적해를 도출하는 방식입니다. 단순 시행착오 기반의 경험적 접근 방식보다 복잡하고 의존적인 오케스트레이션 환경을 정밀하게 분석할 수 있습니다.

  • 인코딩 작업의 비용 식과 소요 시간 식을 도출하여 변수 간 트레이드오프 관계를 수식화함
  • AI의 도움을 받아 수식을 검토하고 수정하는 반복 작업의 비용을 낮춤
Concept · 02

파드 확장 임계값 (Pod Scaling Threshold)

하나의 파드가 처리할 작업(세그먼트)의 단위 또는 스케일링 기준을 나타내는 파라미터입니다. 이 값을 높이면 파드 생성 횟수가 줄어 비용은 낮아지지만 개별 작업 시간이 증가하는 반대 방향의 트레이드오프를 가집니다.

  • 비용 방정식에는 절감 압력을, 시간 방정식에는 증가 압력을 주는 유일한 트레이드오프 변수로 확인됨
  • 마감 시간과 허용 초과율 조건을 만족하는 최적값(V=2, 세그먼트 2개당 파드 1개)을 구함
Concept · 03

확률 스펙트럼 마감 한도 (Probability Spectrum Deadline)

다양한 실행 시간을 가진 작업군에 대해 고정된 단일 마감 시간을 적용하는 대신, 작업 완료 시간의 중앙값과 상위 퍼센타일 분포로 마감 기준을 정의하는 기법입니다.

  • 30초에서 3시간까지 다양한 왓챠 영상 분량의 차이를 단일 마감선으로 다루지 못하는 문제를 해결함
  • 상위 5% 작업 소요 시간이 마감 한도를 넘지 않도록 설정하여 최적 변수 V를 선택하는 지표로 활용함