"스펙 문서에 없는데요?" 최신 스펙 갱신을 위한 사내 AI 챗봇 도입기 1부
Summary
"코드가 곧 최신 스펙이다!" 포스타입의 AWS Bedrock 기반 사내 RAG 구축기
문서 파편화와 커뮤니케이션 병목을 해결하기 위해, 코드를 직접 읽고 답변하는 똑똑한 AI 비서를 만든 여정
서비스가 고도화되면서 최신 기획서와 실제 동작하는 코드 사이의 간극은 모든 개발 조직의 고질적인 문제입니다. 포스타입은 이 문제를 해결하기 위해 '코드가 항상 최신 스펙'이라는 관점에서 코드를 직접 탐색하는 RAG(Retrieval-Augmented Generation) 시스템을 구축했습니다. AWS Bedrock과 OpenSearch Serverless를 결합해 정확하고 최신화된 답변을 제공하는 사내 챗봇의 백엔드 아키텍처와 트러블슈팅 과정을 생생하게 전합니다.
- 01기존 기획 문서 대신 '현재 구동 중인 소스 코드' 자체를 RAG의 단일 진실 공급원(Single Source of Truth)으로 설정
- 02토큰 한계 및 의미 왜곡 문제를 극복하기 위해 Java 코드를 메서드 단위로 파싱하는 커스텀 청킹(Chunking) 도입
- 03수천 개의 코드 파일 중 관련 도메인만 정밀하게 탐색할 수 있도록 메타데이터 필터링(Metadata Filtering) 적용
- 04Semantic 검색의 한계를 보완하여 정확한 함수/클래스명을 찾을 수 있도록 Keyword 검색과 결합한 Hybrid 검색 모델 선택
- 05CI/CD 파이프라인(AWS Code Pipeline) 완료 시점을 트리거로 연결해 코드 배포 시 5분 이내로 지식 베이스를 자동 증분 업데이트
RECOMMENDATION
코드와 문서의 정합성 문제로 고통받거나, 사내 개발 문의 응대로 업무 흐름이 자주 끊기는 백엔드 리드 및 데브옵스 엔지니어에게 적극 추천합니다. 특히 AWS 생태계 내에서 관리형 서비스(Bedrock) 기반의 RAG를 빠르게 구축하려는 조직에 실무적인 이정표가 될 것입니다.
The Problem
포스타입은 제품의 높은 복잡도와 빠른 배포 주기로 인해 기획서 및 테크 스펙 문서가 실제 구동되는 최신 코드를 따라가지 못해 지식 부채가 발생하는 문제를 겪었습니다. 이로 인해 신규 입사자를 포함한 전사 구성원들이 최신 로직을 파악하기 위해 기술그룹에 반복적으로 수동 질의를 하게 되었고, 양측의 커뮤니케이션 병목과 의사결정 지연이 심화되었습니다.
The Solution
코드가 곧 최신 스펙이라는 결론하에, AWS Bedrock Knowledge Base와 OpenSearch Serverless를 활용하여 코드를 직접 분석하는 RAG(Retrieval-Augmented Generation) 시스템을 구축했습니다. Java 코드를 메서드 단위로 사전 파싱하는 Custom Chunking을 적용하고, 정확도를 높이기 위해 메타데이터 필터링과 하이브리드 검색(Semantic + Keyword)을 도입했으며, CI/CD 파이프라인과 연동하여 소스 코드 배포 시 5분 이내에 자동으로 지식 베이스가 동기화되도록 구현했습니다.
The Result
수천 개의 소스 코드 중에서 질문에 해당하는 특정 도메인의 코드 수십 개만을 타겟팅하는 정밀 탐색이 가능해져 답변의 정확도가 비약적으로 향상되었습니다. 또한, 지속적인 배포 환경에서도 실시간에 준하는 수준으로 최신 스펙이 지식 베이스에 자동 동기화되어 사내 구성원들이 직접 최신 시스템 명세를 조회할 수 있는 환경을 제공합니다.
Trade-off
하이브리드 검색 및 원활한 동기화를 구현하기 위해 관리형 OpenSearch 대신 Serverless 방식을 강제 사용하게 되면서, 업무 시간 외에 사용량이 없는 시점에도 리소스 유지 비용이 지속적으로 발생하는 한계가 존재합니다. 또한, 코드 검색 품질을 극대화하기 위해 도쿄 리전에서 Rerank 모델 적용을 검토 및 테스트했으나, 문법 구문 분석에 치중하는 자연어 기반 Rerank가 명확한 키워드 매칭을 방해하는 역효과가 발생하여 최종 도입을 포기했습니다.
