Read Original
#AI

"알아서 정확하게 응답줬으면.." RAG부터 에이전트까지 사내 AI 챗봇 구축기 2부

"알아서 정확하게 응답줬으면.." RAG부터 에이전트까지 사내 AI 챗봇 구축기 2부
01

Summary

알아서 고치고 되묻는 똑똑한 챗봇의 탄생, RAG에서 에이전트로 마이그레이션한 포스타입 이야기

답답했던 단순 RAG 챗봇을 AWS Bedrock Agents를 통해 자율적으로 판단하고 SQL을 검증하는 만능 사내 어시스턴트로 전환한 실전 기록

단순히 정해진 문서만 검색해 보여주던 사내 챗봇이 한계를 마주하자, 포스타입 팀은 지능형 에이전트 아키텍처로의 전환을 시도했습니다. 스스로 SQL 실행 계획(EXPLAIN)을 검증하고 잘못된 쿼리를 수정하며, 이전 대화를 기억해 맞춤형 답변을 내놓는 혁신적인 변화를 이루어냈습니다. RAG의 한계를 넘어 실무 생산성을 획기적으로 올린 백엔드 엔지니어의 깊이 있는 에이전트 전환기를 만나보세요.

  • 01기존 RAG의 문서 혼재 문제를 해결하기 위해 오직 소스코드만 지식 베이스에 적재하는 극단적이고 확실한 검색 품질 개선 전략 채택
  • 02클래스 간 호출 관계를 추적하여 연관 코드를 모두 탐색하는 메타데이터 필터링 기반 다층 검색 전략 도입
  • 03AWS Bedrock Agents의 Action Group을 활용해 EXPLAIN 명령어로 DB에 실제 영향을 주지 않고 SQL 구문을 사전에 스스로 검증하도록 설계
  • 04대화의 맥락을 유지하기 위해 DynamoDB 대신 완전 관리형 Bedrock Agents 내장 메모리 기능을 적용하여 설계 복잡도 해소
  • 05에이전트의 실시간 추론 과정을 CloudWatch에 철저히 로깅하여 투명하게 응답 과정을 모니터링 가능하도록 구현

RECOMMENDATION

단순 RAG 방식의 챗봇이 컨텍스트를 상실하거나 틀린 답변을 양산하는 문제를 겪고 있는 AI 실무자들에게 추천합니다. 완전 관리형 AWS Bedrock Agents를 사용하면 서버리스하게 자율 에이전트를 구축할 수 있어 개발 리소스를 아끼는 지름길이 될 것입니다.

The Problem

기존 RAG 기반 슬랙 봇은 복잡한 질문에 대해 연관 컨텍스트를 충분히 가져오지 못하거나 다수의 테이블 스키마가 섞여 오답을 출력하는 한계가 있었습니다. 특히 연속적인 대화 과정에서 이전 컨텍스트를 유지하지 못하고, 생성된 SQL의 유효성을 사전에 검증하기 어려웠습니다.

The Solution

검색 품질 향상을 위해 소스코드 위주의 지식 저장소 적재와 다층 검색 전략을 도입하였고, 단기 및 장기 메모리와 액션 그룹(Action Group)을 통한 자율적 실행 능력을 갖춘 AWS Bedrock Agents 기반으로 아키텍처를 고도화했습니다.

The Result

에이전트 전환 이후 모호한 질문에 대해 되물어보는 대화가 가능해졌고, 생성된 SQL의 구문 오류를 스스로 분석하고 수정하여 최종 정확도가 상승했으며 최근 한 달간 약 310회의 질문에 능동적으로 올바른 답변을 전달했습니다.

Trade-off

Bedrock Agents 구조를 도입하면서 기존의 단순 RAG 방식에 비해 인프라 비용과 흐름 설계의 복잡성이 커졌습니다. 또한 소스코드 기반의 원활한 동작을 위해 비개발자를 고려한 기술 용어 사전을 시스템 프롬프트에 지속적으로 추가하고 수정 관리하는 휴먼 리소스가 요구됩니다.

03

Key Concepts

Concept · 01

RAG (Retrieval-Augmented Generation)

대형 언어 모델의 생성 능력에 외부 정보 검색 기술을 결합하여, 모델 자체 학습 데이터 외의 최신 또는 특정 지식을 바탕으로 신뢰성 높은 답변을 하도록 유도하는 기법입니다.

  • 초기 포스펙터와 쿼카 챗봇의 MVP를 빠르게 검증하고 사내 문서를 기반으로 질의에 답변하는 기본 아키텍처로 사용되었습니다.
Concept · 02

AWS Bedrock Agents

단순히 텍스트를 생성하는 수준을 넘어, 스스로 대화 맥락을 파악하고 알맞은 도구들을 선택하여 문제를 자율적으로 해결할 수 있게 돕는 시스템입니다.

  • 컨텍스트 유지가 어렵던 기존 구조를 개선하고 스스로 SQL을 검증 및 수정하도록 에이전트 마이그레이션의 핵심 프레임워크로 채택되었습니다.
Concept · 03

다층 검색 전략 (Multi-layered Retrieval)

메타데이터 필터링 기술을 접목하여 단일 차원의 텍스트 검색을 넘어 관련 연쇄 정보까지 추적해 상호 연결된 깊은 정보를 찾아내는 탐색 패턴입니다.

  • 소스코드 간의 유기적인 호출 관계를 메타데이터로 기록하고, 질문 발생 시 호출되는 대상 클래스를 연쇄적으로 깊이 있게 탐색해 컨텍스트에 추가하는 데 활용되었습니다.