Read Original
#AI

AI 수석회의

AI 수석회의
01

Summary

여기어때 개발팀이 LLM과 일하는 법: 프롬프트 파편화부터 장애 분석 자동화까지 7가지 실전 노하우

단순한 도구 사용을 넘어, AI 가드레일과 MCP 에이전트 도입으로 개발 생산성을 상향 평준화한 여정

본 아티클은 사내 개발 조직 간의 AI 활용 격차를 해소하고 기술 시선을 맞추기 위해 출범한 'AI 수석회의'의 7주간 기록입니다. 주문결제, 정산, 유저혜택, 광고플랫폼 등 다양한 도메인의 개발팀이 직접 부딪히며 해결한 프롬프트 통제, 토큰 최적화, 작업 표준화, 그리고 실시간 장애 분석 자동화(RCA) 에이전트의 구체적인 아키텍처와 생생한 노하우를 소개합니다.

  • 01프롬프트 파편화를 막고 일관된 코드 규칙을 강제하기 위한 'Agent-Common' 프레임워크 설계
  • 02토큰 과소비를 방지하고 필요한 지식만 식별 로드하도록 한 Obsidian 기반의 'LLM Wiki' 컨텍스트 최적화 기법
  • 03작업 이력을 투명하게 기록하고 피드백 루프를 만들면서도 최종 주도권은 사람이 갖는 AI 워크스페이스 표준 구축
  • 04LLM의 비결정적 출력 제어와 파괴적 명령어 차단을 보장하는 하네스(Harness) 가드레일 구조 도입
  • 05LGTM 모니터링 스택과 연동하여 로그를 자동 추적하고 즉시 원인을 밝히는 MCP 기반 RCA 에이전트 개발

RECOMMENDATION

AI를 현업에 도입하고 싶지만 프롬프트 일관성 제어나 토큰 비용 때문에 고민 중인 테크 리더, 그리고 MCP를 활용해 실질적인 운영 및 모니터링 자동화를 꾀하는 백엔드 엔지니어들에게 적극 추천합니다. 도구의 유행에 흔들리지 않는 튼튼한 내부 지식베이스(Wiki)와 가드레일 설계가 선행되어야 함을 시사합니다.

The Problem

개발자마다 프롬프트와 규칙이 파편화되어 품질 일관성을 유지하기 어려웠으며, LLM 도입 초기에 기획서와 코드를 무분별하게 제공하여 급격한 토큰 소모 및 품질 저하, 비결정적 결과물 출력 문제가 발생했습니다. 또한 장애 발생 시 엔지니어가 직접 여러 모니터링 도구를 조회하며 원인을 분석하는 데 평균 5~15분이 소요되는 비효율이 존재했습니다.

The Solution

각 팀의 AI 수석들이 모여 규칙과 가드레일을 공통화하는 'Agent-Common' 프레임워크 및 하네스 구조의 'AD' 프로젝트를 도입하였고, Obsidian을 활용한 'LLM Wiki'로 컨텍스트를 구조화하여 토큰 소모를 방지했습니다. 더불어 카테고리별 반복 작업을 표준화하는 AI 워크스페이스를 설계하고, LGTM 스택과 연계한 MCP 기반의 자동화된 장애 원인 분석(RCA) 에이전트를 구축했습니다.

The Result

LLM에 주입되는 컨텍스트 최적화를 통해 초기 토큰 낭비를 차단하고 일관된 코드 품질을 도출하였으며, 비결정성 문제 및 파괴적 명령어를 가드레일로 방어했습니다. 특히 에러 발생 시 수동 분석에 소요되던 5~15분의 시간을 자동화하여 슬랙으로 정교한 오류 분석 리포트를 즉시 회신받는 성과를 거두었습니다.

Trade-off

도구와 규칙의 중앙 통제 및 가드레일 강제 적용 과정에서 개발자 개개인의 자율성과 상충되는 경계선에 대한 고민이 수반되었습니다. 또한 조사된 다수의 Claude Code 오픈소스 플러그인은 실무 적용 수준에 미치지 못한다는 평을 받아, 결국 지속적인 내부 지식베이스 구축이라는 관리 비용을 계속 유지해야 하는 한계가 존재합니다.

03

Key Concepts

Concept · 01

MCP (Model Context Protocol)

LLM이 외부 데이터 소스나 도구, 로그 시스템 등과 일관된 방식으로 안전하게 소통할 수 있도록 지원하는 개방형 표준 프로토콜입니다.

  • Loki, Grafana, Tempo, Mimir(LGTM 스택)의 모니터링 로그 데이터를 AI 에이전트와 매끄럽게 연결하기 위한 기반 프로토콜로 사용되었습니다.
  • 에러가 감지되었을 때 해당 프로토콜을 타고 관련 트레이스와 코드베이스를 신속하게 수집해 원인을 분석하는 데 기여했습니다.
Concept · 02

Harness (하네스) 구조

시스템의 비결정적인 결과나 위험 동작을 제어하기 위해 일관된 컨텍스트를 강제로 주입하고 외부 경계에서 동작 흐름과 보안 규칙을 제한하는 소프트웨어 래퍼(Wrapper) 레이어입니다.

  • 광고플랫폼개발팀의 'AD' 프로젝트에 활용되어 어떤 개발자가 작업을 수행하더라도 균일한 결과물을 유도하도록 컨텍스트를 사전에 조율했습니다.
  • 파괴적인 명령어 실행을 원천 차단하는 가드레일 역할을 성공적으로 수행하도록 지원했습니다.
Concept · 03

LLM Wiki

SQL, DDL, 핵심 도메인 지식 및 소스 코드로 구성된 원천 자료를 LLM이 바로 파악할 수 있게 효율적인 마크다운 인덱스 구조로 정제해 둔 컨텍스트 관리 체계입니다.

  • Claude Team Plan 적용 시 무분별한 기획서 분석으로 일어나는 토큰 소모 과다 및 컨텍스트 품질 저하 문제를 타개하기 위해 도입되었습니다.
  • 옵시디언(Obsidian) 도구를 결합하여 데이터 및 경로를 효율적으로 관리하고 인공지능이 파일을 빠르게 판단할 수 있는 이정표를 제시했습니다.