Read Original
#DevOps

AI 트리아지로 인입을 자동 분류하기

AI 트리아지로 인입을 자동 분류하기
01

Summary

응급실의 영리한 시스템을 온콜에 이식하다: AI 트리아지로 구현하는 장애 분류 자동화

"어디서 봤던 장애더라?" 고민은 끝, 사내 히스토리와 런북을 실시간 추론해 최적의 해결책을 제시하는 AI 길목 설계기

인프라 대응의 첫 단추인 '이슈 분류'를 자동화하기 위해 아임웹 인프라팀이 구축한 AI 트리아지(Triage) 시스템을 소개합니다. AI가 인입된 슬랙이나 지라 티켓을 분석하고, 사내 축적된 이력과 동적으로 관리되는 런북 메타데이터를 기반으로 최적의 대응 시나리오와 등급을 판단합니다. '추천은 적극적으로, 실행은 안전하게'라는 철학 하에 사람이 승인하는 안전장치를 더해 실무 편의성과 인프라 안정성을 모두 잡았습니다.

  • 01의료 분야의 환자 분류법(Triage)을 도입해 인프라 이슈의 '분류·라우팅'과 '진단·조치'를 완벽히 격리
  • 02사내 지식 검색기 '쿼리곰'을 통해 Slack, Jira, Notion에 흩어진 파편화된 해결 이력을 실시간 검색 및 반영
  • 03각 런북 상단에 frontmatter 메타데이터를 선언하여 문서의 드리프트(Drift) 현상 없이 카탈로그를 동적 스캔하도록 고도화
  • 04키워드 매칭, 시스템 연관도, 과거 사례 등의 복합 점수제를 활용해 단순 매칭을 넘어선 고도화된 런북 추천 근거 제시
  • 05매칭 실패 건을 단순 예외로 버리지 않고 'propose-new' 흐름을 적용해 새로운 장애 패턴 지식을 선순환적으로 축적

RECOMMENDATION

인입되는 고객 문의나 알람의 케이스가 복잡하여 초동 인프라 티케팅과 온콜 대응에 자원을 많이 소모하는 SRE 조직에 강력 추천합니다. 런북 마크다운 자체를 메타데이터 저장소로 삼는 경량화 아키텍처는 리소스가 부족한 팀에서 당장 벤치마킹하기 좋은 팁입니다.

The Problem

아임웹 인프라팀은 외부 고객사 이벤트가 많아 인시던트 유형이 지나치게 다양했고, 특히 신규 입사자나 온콜 담당자가 이슈가 인입되었을 때 관련 히스토리를 파악하고 적합한 런북을 선택하는 초동 분류 단계에서 병목 현상이 발생했습니다.

The Solution

입력 데이터 정규화, 사내 채널 히스토리 검색, 그리고 마크다운 frontmatter 메타데이터 기반 동적 스캔 점수 모델을 결합한 AI 트리아지 시스템을 도입하여 알람에 맞는 최적의 런북을 제안하고, 매칭에 실패하면 신규 런북 생성 프로세스(propose-new)를 타도록 설계했습니다.

The Result

온콜 담당자들이 이슈 유형을 파악하기 위해 히스토리를 뒤지며 허비하는 시간이 대폭 감소하였으며, 경험이 부족한 작업자도 AI의 추천 근거를 바탕으로 동일한 수준의 일관된 초동 대응을 수행할 수 있게 되었습니다.

Trade-off

오작동 방지를 위해 모든 외부 액션과 런북 실행을 사용자 수동 컨펌 이후에만 진행하도록 설계하여 완전 무인 자동화에 비해서는 수동 개입 오버헤드가 남아있으며, 분류 정확도를 유지하기 위해 개발자가 주기적으로 런북 파일 내 frontmatter 설정을 엄격히 갱신해야 합니다.

03

Key Concepts

Concept · 01

트리아지 (Triage)

본래 응급실에서 환자의 긴급도와 부상 수준에 따라 치료 우선순위를 분류하는 의료 용어로, IT 운영 및 DevOps에서는 인입된 알림이나 티켓을 신속하게 식별해 적절한 대응 절차로 분배하는 프로세스를 뜻합니다.

  • 아임웹 인프라팀에서 인시던트 발생 시 1차 담당자가 헤매지 않도록 최적의 런북 매칭과 우선순위(P-level) 판단을 지원하는 관문으로 구현되었습니다.
Concept · 02

Frontmatter 기반 동적 스캔

마크다운(Markdown) 문서의 도입부에 YAML 형태로 메타데이터를 선언하고, 런타임에 이 메타데이터를 파싱하여 카탈로그나 설정 데이터를 동적으로 로드하고 갱신하는 파일 관리 방식입니다.

  • 런북의 추가 및 수정이 발생할 때마다 트리아지 정책 코드를 매번 변경해야 하는 번거로움과 카탈로그 불일치(Drift)를 차단하기 위해 사용되었습니다.
Concept · 03

Propose-new 프로세스

분류 모델이 기존의 데이터나 분류 체계(런북) 중 적절한 매칭을 찾지 못했을 때, 이를 모르는 오류로 덮어두는 대신 새로운 후보 유형으로 격리해 지식의 자산화를 유도하는 예외 대응 설계 패턴입니다.

  • 이전에 겪어보지 못한 신규 백엔드 이슈 등이 인입되었을 때, 이를 1회성 분석으로 끝낼지 정식 런북 후보로 검토할지 선택할 수 있는 지식 선순환 장치로 작동합니다.