Read Original
#AI

사내 지식으로 Agentic RAG 만들기 (3/3) : 관측 가능한 RAG, 운영되는 도구로

사내 지식으로 Agentic RAG 만들기 (3/3) : 관측 가능한 RAG, 운영되는 도구로
01

Summary

감에 의존하던 RAG는 끝났다! Langfuse와 MCP로 구현한 관측 가능하고 똑똑한 에이전트 구축기

검색 정확도 모니터링부터 도구 명세 최적화까지, 사내 지식을 완벽히 활용하는 Agentic RAG 운영 노하우

여기어때 공통플랫폼개발팀이 사내 지식 기반 Agentic RAG 프로젝트의 마지막 단계인 관측 가능성(Observability) 확보와 MCP(Model Context Protocol) 서빙 과정을 공유합니다. Langfuse 기반의 trace 모니터링과 LLM-as-a-judge 평가 파이프라인을 구축하여 시스템 성능을 정량화하고, FastMCP와 서버 instructions를 통해 에이전트의 도구 활용 능력을 체계적으로 개선했습니다. 단순 검색을 넘어 실제 사내 업무 지원 봇과 개발 환경에서 작동하는 실전적 RAG 운영 기법을 제시합니다.

  • 01Langfuse를 도입하여 LLM 호출 단계별 trace, 토큰 사용량 및 단가 기반 비용 모니터링 체계 구축
  • 02Recall@5, Hit Rate, MRR 등 정보 검색 지표와 LLM-as-a-judge 기법을 결합한 2단계 정량 평가 파이프라인 완성
  • 03FastMCP 기반 HTTP Streamable 서빙 구축 및 서버 instructions를 통한 에이전트 툴 오케스트레이션 유도
  • 04도구 명세 프롬프트 간소화 및 ID 기반 리소스 식별 변경으로 정확도 3~9%p 향상 및 토큰 소모 감소 달성
  • 05Slack 기술지원봇, 사내 AI 플랫폼 YAPP, 개인 IDE 등 실제 전사 업무 환경에 Agentic RAG 적용

RECOMMENDATION

RAG 파이프라인을 구축했지만 실제 검색 및 생성 품질과 비용 모니터링에 어려움을 겪는 AI 및 백엔드 엔지니어에게 적극 추천합니다. 특히 MCP 및 LLM Observability 도구를 도입해 실무 운영 단계로 전환하고자 하는 팀에 유용한 가이드를 제공합니다.

The Problem

RAG 시스템 구축 후 입출력이 자연어로 이루어져 모니터링이 어렵고, 실제 검색 및 생성 답변의 정확도와 토큰 비용을 실시간으로 파악하기 힘든 문제가 있었습니다. 또한 에이전트가 단일 청크 검색 후 탐색을 종료하여 문서의 맥락 구조를 충분히 활용하지 못하는 한계가 존재했습니다.

The Solution

Langfuse를 도입하여 요청별 trace와 비용을 가시화하고, 7가지 질문 유형 기반의 정량적 평가 파이프라인(LLM-as-a-judge)을 구축했습니다. 더불어 FastMCP 기반 HTTP Streamable 방식으로 MCP 서버를 구축하고, 서버 instructions와 도구 명세 프롬프트를 간소화하여 에이전트의 도구 오케스트레이션을 최적화했습니다.

The Result

평가 파이프라인 기반의 프롬프트 및 도구 명세 개선을 통해 정확도가 모델별로 3~9%p 향상되었으며, 필요한 근거만 명확히 탐색하여 토큰 소비와 지연 시간을 동시에 줄였습니다. 완성된 MCP는 Slack 기술지원봇, 사내 AI 플랫폼 YAPP, 개인 개발 환경 등 전사 복수 채널에 성공적으로 적용되었습니다.

Trade-off

경량 모델일수록 긴 프롬프트 시 지시사항을 놓치는 경향(lost in the middle)이 발생하여 도구 명세를 극도로 간소화해야 하는 제약이 있었습니다. 또한 임베딩 모델 교체 시 전체 문서 재임베딩 비용 및 사내 문서 증가에 따른 무관 문서 혼입 제어 비용이 지속적으로 요구되는 한계가 있습니다.

03

Key Concepts

Concept · 01

LLM Observability (Langfuse)

LLM 애플리케이션의 입력, 출력, 프롬프트, 토큰 사용량, 지연 시간 및 비용을 요청 단위(Trace)로 추적하고 모니터링하는 관측 플랫폼입니다.

  • 검색-프롬프트 조립-생성 단계를 하나의 Trace로 묶어 모니터링 수행
  • Experiment 기능을 활용하여 데이터셋 기반 정량적 실험 및 결과 기록 파이프라인 구축
Concept · 02

LLM-as-a-judge

생성된 답변의 품질이나 정확도를 정답표 기반으로 분리된 다른 고성능 LLM 모델이 점수로 채점하는 평가 방식입니다.

  • 미리 작성한 정답과 생성된 응답을 함께 제공하여 채점 편차 최소화
  • 리트리버 검색 지표와 결합해 검색 문제와 생성 문제를 구분하는 2단계 평가 수행
Concept · 03

MCP (Model Context Protocol) & FastMCP

LLM 에이전트가 외부 도구나 사내 데이터 자원에 접근할 수 있도록 표준화된 인터페이스를 제공하는 프로토콜 및 Python 서빙 라이브러리입니다.

  • HTTP Streamable transport 방식으로 중앙 MCP 서버를 안전하게 서빙
  • 서버 instructions를 활용하여 클라이언트 에이전트에 올바른 도구 호출 순서 및 방식 안내