Read Original
#DevOps

새로운 팀에 기여하기, 그리고 기여의 확장 (feat. 전시개발팀 옵저버빌리티 향상 시키기)

새로운 팀에 기여하기, 그리고 기여의 확장 (feat. 전시개발팀 옵저버빌리티 향상 시키기)
01

Summary

새 팀 합류 5개월 차 엔지니어가 Grafana와 AI로 팀의 장애 대응 속도를 획기적으로 바꾼 비결

작은 기여로 시작해 팀 전체의 옵저버빌리티 문화 확산으로 이어진 성공적인 리로케이션 이야기

여기어때 전시개발팀으로 이직한 5개월 차 엔지니어가 기존 공통플랫폼 팀에서의 경험을 살려 옵저버빌리티 파이프라인을 구축한 과정을 다룹니다. 기존 APM의 사용성을 유지하면서도 AI 에이전트를 적극 활용하여 모니터링 대시보드를 효율적으로 설계했습니다. 나아가 팀 전체가 자발적으로 관측 가능성을 개선해 나가는 협업 스노우볼 효과를 보여줍니다.

  • 01엔지니어의 분석 흐름을 깨지 않는 APM 사용성 중심의 관측 가능성 기준 수립
  • 02AI 에이전트(Claude Code, Yapp MCP) 활용을 통한 대시보드 쿼리 및 패널 제작 자동화
  • 03Incoming/Outgoing 연계 시스템 트래픽의 즉시 격리를 통한 원인 파악 시간 단축
  • 04메트릭 패널에서 클릭 한 번으로 Loki 로그 및 Tempo 트레이스로 이동하는 드릴다운 환경 구현
  • 05팀원 간 유기적 협업으로 마이크로서비스 통합 보드 및 대규모 이벤트 전용 리소스 보드 확장

RECOMMENDATION

신규 팀 이관 후 빠른 기술적 기여점을 찾고 있는 개발자나, OpenTelemetry 및 Grafana 기반의 모니터링 체계 보급을 고민 중인 시니어 엔지니어에게 일독을 권합니다.

The Problem

클라우드 이관 과정에서 기존 APM(Pinpoint) 사용성에 의존하고 있어 대규모 트래픽을 처리하는 전시 서비스 특성상 장애 원인을 빠르게 격리하고 식별하는 데 한계가 있었습니다.

The Solution

OpenTelemetry와 Grafana 기술 스택(Mimir, Tempo, Loki) 기반의 파이프라인을 활용하여 Incoming/Outgoing 격리, 원클릭 드릴다운, AI 에이전트(Claude Code, Yapp MCP) 연동을 적용한 사용자 친화적 대시보드를 구축했습니다.

The Result

장애 상황 발생 시 1초 만에 원인을 식별할 수 있는 모니터링 환경을 조성하였으며, 팀원들의 자발적인 마이크로서비스 및 이벤트 전용 대시보드 확장 기여로 이어졌습니다.

Trade-off

작업 전 MTTD/MTTR 등 모니터링 성능 개선 수치를 사전에 정의하지 못해 정량적 효과를 명확하게 측정하지 못했으며, 이상 원인 판단의 최종 분석은 여전히 엔지니어의 개입에 의존하는 한계가 존재합니다.

03

Key Concepts

Concept · 01

Observability (관측 가능성)

시스템의 내부 상태를 외부 출력물인 메트릭, 트레이스, 로그 등을 통해 추론하고 이해할 수 있는 시스템의 특성을 의미합니다.

  • Mimir(Metrics), Tempo(Traces), Loki(Logs)를 유기적으로 연결하여 컨텍스트 스위칭 없는 모니터링 파이프라인 구축
Concept · 02

MCP (Model Context Protocol) & AI Agent

AI 모델이 개발 도구 및 사내 시스템 환경과 직접 상호작용하여 업무를 수행할 수 있도록 지원하는 프로토콜 및 시스템입니다.

  • 사내 AI 에이전트 Yapp MCP와 Claude Code를 활용해 메트릭 탐색 및 그라파나 쿼리 작성 등의 반복 작업을 자동화
Concept · 03

Drill-down (드릴다운)

상위 요약 데이터에서 시작하여 클릭을 통해 하부의 세부적인 개별 데이터나 원인 로그로 진입하는 분석 방식입니다.

  • 에러 메트릭 차트에서 해당 시점의 실제 로그(Loki) 및 상세 분산 트레이스(Tempo)로 원클릭 이동 기능 구현