AI 스페셜리스트와 자동사냥 — 하네스로 제어하는 AI 파이프라인
Summary
"슬로우 쿼리 잡는 AI 자동사냥 파티, '하네스'로 완성하다"
반복되는 DB 튜닝 업무를 7단계 AI 파이프라인으로 자동화하여 수 시간의 작업을 수 분으로 단축한 엔지니어링 사례
이 아티클은 백엔드 개발자의 숙명인 슬로우 쿼리 최적화 과정을 AI 에이전트로 자동화한 'query-engineer' 프로젝트의 여정을 다룹니다. 단순히 AI에게 질문하는 것을 넘어 '하네스(Harness)'라는 제어 구조를 통해 AI의 추론 능력을 극대화하고, 실무에 적용 가능한 수준의 결과물을 얻어내기 위한 구체적인 아키텍처와 설계 철학을 공유합니다.
- 01'Agent = Model + Harness' 공식을 활용한 정밀한 AI 제어 설계
- 02컨텍스트 부패(Context Rot)를 방지하기 위한 4개의 서브 에이전트 격리 구조
- 03Claude와 OpenAI Codex를 이용한 최대 8개 관점의 AI 교차 코드 리뷰 루프
- 04SQL Explain 및 실제 실행 결과를 실측하는 3단계 정합성 검증 스테이지
- 05Next.js 웹 UI와 CLI 바이너리가 파이프라인 엔진을 공유하는 재사용 가능한 설계
RECOMMENDATION
반복적인 코드 수정 작업에 AI를 도입하고 싶지만 결과물의 품질이나 정합성 문제로 고민하는 엔지니어들에게 '하네스 설계' 관점을 강력히 추천합니다.
The Problem
반복되는 슬로우 쿼리의 탐지, 원인 분석, 코드 수정 및 PR 생성 과정이 백엔드 개발자의 많은 리소스를 소모하며, 범용 AI를 사용할 경우 코드베이스의 맥락 부족으로 인해 실질적인 해결책을 얻기 어려운 문제가 있었습니다.
The Solution
Claude와 OpenAI 등 LLM을 활용하되, 시스템 프롬프트와 서브 에이전트를 통해 컨텍스트를 격리하고 정합성 검증 및 코드 리뷰 루프를 포함한 7단계 자동화 파이프라인(query-engineer)을 구축하여 AI에 '하네스(Harness)'를 씌워 제어했습니다.
The Result
수동으로 수 시간 소요되던 슬로우 쿼리 최적화 프로세스를 수 분 이내로 단축하였으며, AI 간의 교차 검증과 SQL 실측 검증 단계를 통해 자동화된 결과물의 신뢰성과 정합성을 확보했습니다.
Trade-off
AI가 생성한 패치의 라인 번호가 어긋나거나 SQL 문법 오류가 발생할 가능성이 있어 패치 정규화기 및 4단계 폴백 전략과 같은 추가적인 보정 로직을 설계해야 했으며, 완전 자동 머지 대신 사람의 최종 승인을 거치는 구조를 선택했습니다.
Key Concepts
More from 무신사
View all posts from 무신사
AI Native 조직은 도메인 지식을 어떻게 공유하는가
LLMAI AgentDomain Modeling5일 전코딩만 빨라졌다고요? 아뇨, 일하는 방식이 다 뜯어고쳐졌습니다.
AIGenerative AISDLC6일 전MATCH란 무엇인가
CDPMachine LearningAudience Targeting1개월 전의심했던 범인은 알리바이가 있었다.
Java Flight RecorderSpring BatchAurora MySQL1개월 전
LLM 비용 64% 절감, 캐시 히트율 98% 달성기
AWS BedrockPrompt CachingLangChain4j1개월 전
