KOEN
Read Original
#AI

Pensive AI로 장애 진단의 신뢰성 높이기

Pensive AI로 장애 진단의 신뢰성 높이기
01

Summary

하루 10만 건의 워크로드 실패, 넷플릭스가 AI로 로그 분석 수고를 321% 줄인 비결

결정론적 규칙과 LLM 추론을 결합하여 장애 원인 분류 커버리지 100%를 달성한 Pensive AI 아키텍처

넷플릭스는 대규모 데이터 및 ML 워크로드 실패를 효율적으로 처리하기 위해 Pensive AI를 개발했습니다. 에러 텍스트 재생성 대신 라인 번호 범위만 출력받아 환각 현상과 비용을 크게 줄였으며, 사용자 요청 시에만 동작하는 심층 디버깅 및 캐싱 레이어로 지연 시간을 최적화했습니다. 또한, CI/CD 파이프라인과 연동된 LLM 평가 체계를 구축하여 지속적인 품질 유지를 실현했습니다.

  • 01전체 로그를 재생성하지 않고 오류 라인 번호 범주만 output 받아 토큰 비용과 지연 시간 최적화
  • 02동일 워크로드 시도(Step Attempt) 단위 캐싱과 SSE/WebSocket 스트리밍을 통한 UX 및 비용 개선
  • 03S3에 아카이빙된 로그 스냅샷을 활용한 자동화 LLM 평가 체계 및 CI/CD 배포 통과 게이트 구축
  • 04Pensive AI 미사용 그룹 대비 사용자 수동 로그 탐색 동작 321% 감소 확인

RECOMMENDATION

대규모 대용량 로그 분석 및 MLOps/DataOps 파이프라인을 운영하는 엔지니어에게 강력히 추천합니다. 결정론적 시스템과 LLM을 효율적으로 하이브리드하여 비용과 지연 시간을 통제하는 실무 가이드를 제공합니다.

The Problem

넷플릭스의 데이터 플랫폼에서는 매일 수십만 건의 워크로드 실패가 발생하며, 기존 수동 로그 분석과 정규식 기반 수집 시스템은 전체 실패의 절반에 달하는 미지(Unknown) 장애 원인을 분류하지 못했습니다.

The Solution

기존 정규식 규칙 시스템에 AI 기반 에러 범위 추출과 온디맨드 LLM 디버깅을 결합한 Pensive AI를 도입하고, S3 로그 아카이빙 기반의 자동화 평가 파이프라인 및 CI/CD 품질 게이트를 구축했습니다.

The Result

오류 추출 커버리지를 100%로 확장하였으며, Pensive AI를 활용한 장애 시도에서 사용자의 수동 로그 탐색 동작이 미사용 시도 대비 321% 감소했습니다.

Trade-off

심층 LLM 디버깅은 응답 생성까지 수십 초에서 1분이 소요되고 비용 부담이 커 자동 실행 대신 온디맨드 호출 방식과 스텝 시도 단위 캐싱 전략을 채택했습니다.

03

Key Concepts

Concept · 01

라인 번호 기반 에러 추출 (Line-Number Range Extraction)

LLM이 로그 전체 텍스트를 재생성하는 대신 에러가 발생한 시작과 끝 라인 번호만 출력하도록 유도하는 기법입니다. 이를 통해 출력 토큰량을 최소화하고 모델 환각 방지 및 지연 시간 단축 효과를 얻습니다.

  • 모델이 오류 구문의 두 개 정수(시작/끝 라인)만 반환하도록 제한
  • Pensive가 원본 로그 스토어에서 직접 해당 범위의 텍스트를 복원하여 화면에 표시
Concept · 02

스텝 시도 단위 캐싱 (Step-Attempt Caching)

불변의 워크로드 실행 단위인 '스텝 시도(Step Attempt)'를 키로 지정하여 동일한 실패 분석 요청에 대한 LLM 중복 호출을 방지하는 캐시 기법입니다.

  • 조건부 쓰기(Conditional Write)를 적용해 동시 요청 시 중복 인퍼런스 방지
  • UI, API, MCP 클라이언트가 캐시된 진단 결과를 90일간 공유
Concept · 03

CI/CD 평가 게이트 (Evaluation Harness & Release Gates)

프롬프트나 모델, 코드 변경 시 에러 추출 정밀도(Precision)와 포함도(Inclusion)를 자동으로 평가하여 기준 미달 시 배포를 차단하는 검증 체계입니다.

  • S3에 저장된 고정 로그 스냅샷을 사용하여 재현성 있는 evaluation 수행
  • PR 단위 격리 환경 및 프로덕션 정기 실행으로 모델 드래프트 현상 감지