KOEN
Read Original
#DevOps

온톨로지 기반 관찰 가능성: 넷플릭스 규모의 엔드투엔드 지식 그래프 구축

온톨로지 기반 관찰 가능성: 넷플릭스 규모의 엔드투엔드 지식 그래프 구축
01

Summary

넷플릭스가 초당 3,800만 건 로그 속에서 장애 원인을 4시간에서 단 몇 분으로 줄인 비결: 지식 그래프 온톨로지

파편화된 모니터링 도구와 LLM의 불확실성을 W3C 온톨로지 표준과 결정론적 AI 에이전트 아키텍처로 극복한 넷플릭스의 대규모 엔지니어링 사례

대규모 라이브 스트리밍과 마이크로서비스 환경에서 장애 발생 시 다양한 도구 간의 용어 불일치와 데이터 파편화는 원인 파악을 늦추는 주원인입니다. 넷플릭스는 이를 해결하기 위해 W3C 오픈 표준 기반의 관찰 가능성 온톨로지를 정의하고, LLM과 정밀한 수집 파이프라인을 조합하여 유기적인 지식 그래프를 구축했습니다. 이제 엔지니어들은 수시간 동안 문맥을 조합하는 대신 체계적으로 정렬된 장애 원인 가설을 즉시 확인하고 대응할 수 있습니다.

  • 016,500만 동시 시청자 규모에서 발생하는 초당 3,800만 건의 로그와 파편화된 도구 데이터를 W3C RDF/OWL 기반 온톨로지로 통합
  • 02확률적인 LLM 출력을 SHACL 검증과 타입 규약을 통해 결정론적인 SPARQL 쿼리 데이터로 전환하는 파이프라인 구축
  • 03Rust 기반 redb 기술 위에 구현된 자사 RDF 쿼드 스토어 QuipuDB를 통한 안정적인 지식 그래프 운용
  • 04Slack 대화 및 장애 조치 맥락을 주체-서술어-객체(Triple) 데이터로 변환하여 시스템 지혜로 재활용하는 지식 플라이휠 구축
  • 05장애 원인 분석 AI 에이전트 AutoRCA를 통해 맥락 조합에 소요되던 1~2시간의 수작업 조사 시간을 자동화

RECOMMENDATION

대규모 마이크로서비스 아키텍처를 운영하며 파편화된 모니터링 도구와 긴 장애 대응 시간으로 고통받는 DevOps 및 백엔드 엔지니어링 팀에게 강력히 추천합니다. AI 에이전트를 모니터링에 도입할 때 환각 현상을 줄이고 결정론적 신뢰성을 확보하는 지식 그래프 설계법을 얻을 수 있습니다.

The Problem

6,500만 명의 동시 시청자와 초당 3,800만 건 이상의 실시간 로그를 처리하는 넷플릭스 환경에서는 시스템 복잡성으로 인해 장애 발생 시 원인 파악 및 해결에 약 4시간이 소요되는 문제가 있었습니다. Atlas, Radar, Spinnaker 등 이질적인 내부 모니터링 및 운영 도구들이 엔티티(애플리케이션, 서비스, 클러스터 등)를 서로 다르게 정의하여 시스템 전체 맥락을 빠르게 파악하기 어려웠습니다.

The Solution

넷플릭스는 W3C 표준(RDF, OWL, SHACL, SPARQL)을 기반으로 시스템 엔티티와 관계를 정의하는 '관찰 가능성 온톨로지(Observability Ontology)'를 구축하고 Rust 기반 키-값 DB(redb)에 기반한 QuipuDB 지식 그래프에 데이터를 저장했습니다. 또한 엔트로피 감소 수집 파이프라인(Enrichers), 신호 상관관계 엔진(Correlation Engine), 그리고 지식 그래프 기반의 자율 조사 에이전트(AutoRCA)를 도입하여 비결정론적 LLM 분석 결과를 결정론적 SPARQL 쿼리가 가능한 지식 구조로 전환했습니다.

The Result

맥락을 수집하고 시스템 전반의 관계를 재구성하는 데 걸리던 1~2시간의 작업을 지식 그래프와 AutoRCA 에이전트 시스템이 흡수하여 장애 원인 분석 시간을 획기적으로 단축했습니다. 또한 Slack 대화에 파묻히던 인적 해결 노하우와 판단 근거를 트리플 형태의 구조화된 데이터로 변환하여 시스템의 지식으로 축적 및 재활용할 수 있게 되었습니다.

Trade-off

수집 파이프라인(Enrichers)을 순차적으로 실행함에 따라 전체 병렬 처리 속도(벽시계 시간)가 다소 희생되는 트레이드오프가 발생했습니다. 또한 초기 단계에서는 AI 에이전트가 제시하는 원인 가설의 순위가 오판될 가능성이 있어 최종 의사결정 과정에서 인간 엔지니어의 개입과 검증이 필수적입니다.

03

Key Concepts

Concept · 01

Observability Ontology (관찰 가능성 온톨로지)

시스템 운영 세계에 존재하며 상호작용하는 엔티티(애플리케이션, 서비스, 인시던트, 배포 등)와 그들 간의 관계를 명확하게 정의한 기계 읽기 가능한 형식적 명세입니다.

  • W3C 표준인 RDF, OWL, SHACL, SPARQL을 기반으로 설계되었습니다.
  • 12개의 네임스페이스로 나뉘어 각 운영 도메인을 독립적으로 관리합니다.
  • 약 49,000개의 소프트웨어 카탈로그 항목을 기준으로 애플리케이션 엔티티의 유효성을 엄격히 검증합니다.
Concept · 02

Knowledge Flywheel (지식 플라이휠)

관찰(Observe), 보강(Enrich), 추론(Infer), 적응(Adapt)의 4단계를 거치면서 시스템 맥락과 자율 학습 지식을 지속적으로 누적 및 강화하는 자가 개선 아키텍처 메커니즘입니다.

  • 장애 분석 과정에서 도출된 원인 추론 결과를 온톨로지에 인코딩하여 저장합니다.
  • 반복되는 장애 패턴을 감지 규칙 및 시스템 예방 지식(Wisdom)으로 승화시킵니다.
Concept · 03

AutoRCA

온톨로지 지식 그래프를 인터페이스 삼아 시스템 장애의 근본 원인을 추론하고 순위화된 가설을 제공하는 넷플릭스 내부의 전문 에이전트 기반 AI 솔루션입니다.

  • 각 기술 영역(로그, 메트릭, 트레이스)에 특화된 에이전트들이 지식 그래프를 매개로 언어 정의 없이 협업합니다.
  • 엔지니어가 수작업으로 맥락을 파악하던 시간을 대폭 줄여주며 가설의 근거가 되는 그래프 기록을 함께 제시합니다.