Read Original
#DevOps

인프라팀에 업무 요청이 들어오면 5분동안 벌어지는 일

인프라팀에 업무 요청이 들어오면 5분동안 벌어지는 일
01

Summary

인프라팀에 요청이 오면 5분 만에 벌어지는 기적: AI 트리아지와 자동 온콜의 힘

사람을 늘리는 대신 13년의 운영 지식과 AI를 결합해 병목 없는 완벽한 인프라 협업 구조를 설계한 여정

리소스 부족과 급증하는 인프라 업무 요청이라는 현업의 가장 흔한 난제를 스마트하게 극복한 SRE 혁신 사례입니다. 지식 DB, 소통 창구, 정책 가드레일의 삼중 구조를 구축하고 AI를 통해 업무 분류와 담당자 지정 과정을 완전히 자동화했습니다. 결과적으로 불필요한 반복 업무 시간을 획기적으로 차단하고 구성원 각자가 핵심 도메인에 집중하여 업무 몰입도와 대응 신속성을 극대화하는 협업 문화를 정착시켰습니다.

  • 01AI를 활용해 접수된 슬랙 문의를 5분 주기로 자동 분석, 티켓 발행 및 담당자 배정 처리
  • 02답변 대기 지연(상위 10%) 시간을 56분에서 16분으로 줄이고 무응답률을 2.3%로 최소화
  • 03리더에게 편중되던 지라 티켓 부담을 58%에서 22%로 감소시켜 의사결정 병목 해결
  • 04장애 감지 즉시 DB, SRE, DevOps, 보안 등 다분야 담당자가 소통 낭비 없이 실시간 동시 투입 및 협업
  • 05반복 작업의 자동화로 여유 리소스를 확보하여 4개월간 6편의 고품질 기술 아티클 발행 및 내부 운영 봇 '라이스' 구축

RECOMMENDATION

리소스 부족과 사내 문의 대응 병목으로 고통받는 DevOps 리더와 SRE 엔지니어에게 적극 추천합니다. AI 연동 자동화뿐 아니라 정책의 코드화(Policy as Code)와 온콜 에스컬레이션을 실제로 어떻게 결합하고 고도화할 것인지 실무적인 이정표를 제공합니다.

The Problem

팀 규모는 축소되었으나 인프라 문의 및 업무 요청 건수가 해마다 급증하여 팀 리더에게 지라 티켓 할당이 몰리고 병목 현상이 발생했습니다. 이로 인해 정보의 비대칭이 생기고 답변이 지연되거나 누락되는 문의가 발생하는 한계를 겪고 있었습니다.

The Solution

13년 치 운영 기록과 런북을 결합한 지식 DB를 구축하고 슬랙과 연동한 AI 기반의 트리아지 자동 분류 시스템을 구축했습니다. 온콜 자동 배정과 함께 가드레일 정책을 파일로 공용 저장소에서 관리하며, 장애 발생 시 영역별 담당자가 동시에 협업하여 즉시 대응할 수 있는 구조를 정립했습니다.

The Result

지라 티켓의 팀 리더 배정 비중이 58%에서 22%로 감소했고, 지연 문의 답변 대기 시간은 56분에서 16분으로 크게 단축되었습니다. 신입 SRE 담당자가 접수 10분 만에 문제를 해결할 만큼 생산성이 증대되었으며, 확보한 시간적 여유를 바탕으로 팀원들이 4개월간 6편의 기술 블로그를 작성하는 등 긍정적인 성과를 거두었습니다.

Trade-off

담당자 자동 배정에 약 14%의 오차가 존재하고 검색 범위가 본문 대신 제목에 치우쳐 18건 중 13건의 셀프 서비스 전환에 실패했습니다. 또한 표준 답변의 일부가 노후화(17개 중 4개)되는 관리 공수가 수반되며, 자동화 도입 이후에도 첫 답글의 37%를 여전히 팀 리더가 처리하는 수동적 문화 관성이 일부 잔존합니다.

03

Key Concepts

Concept · 01

AI Triage (AI 트리아지)

인입되는 대량의 요청 및 문의 사항을 AI 모델이 실시간으로 분류하고 정교한 가이드를 생성하여 즉각적인 담당자 배정과 초동 대응을 지원하는 자동화 기법입니다.

  • 5분마다 슬랙 채널을 확인하고 카테고리를 자동 분류한 뒤 담당자를 지정하여 티켓을 발행합니다.
  • 접수된 이슈의 핵심 맥락을 요약하고, 런북 링크 및 과거 유사 장애 해결 지침을 포함한 가이드를 자동으로 댓글로 제공합니다.
Concept · 02

On-Call Policy (온콜 정책)

인프라 장애 및 긴급 상황 시 즉각 대응할 수 있도록 당번 엔지니어를 단계별로 할당하고 미응답 상황에 대비하여 에스컬레이션 단계를 투명하게 관리하는 시스템 규정입니다.

  • 매일 아침 봇이 당일의 1, 2, 3차 온콜 리스트를 공지해 온콜의 주체를 명확히 시각화합니다.
  • 미대응 시 리더 단계로 자동 이관하되 비난하지 않는 블레임리스 문화 속에서 에스컬레이션 레이어를 자율 조정할 수 있게 합니다.
Concept · 03

Runbook (런북)

특정 업무 요청, 반복 점검 또는 장애 극복 절차를 엔지니어가 차례대로 신속하게 수행할 수 있도록 구체적인 단계와 실행 명령어를 기술해 놓은 표준 운영 지침서입니다.

  • 13년 치의 사내 운영 지식 및 정책 규칙과 연계되어 시스템 에이전트가 답변 가이드를 작성할 때 핵심 소스로 활용됩니다.
  • 도메인 주소 교체 및 보안 인증서 관련 민감 이슈 발생 시, 봇이 4분 만에 3개의 런북을 자동 매치해 단 10분 내 해결을 성공시켰습니다.