Slack 봇 쿼리곰: 없으면 안 되는 봇이 되기까지
Summary
하루 만에 만든 LLM 래퍼가 '전사 필수 도구'가 되기까지: 쿼리곰 성공 비결
멀티에이전트 검증과 하이브리드 RAG, 이중 메모리 시스템으로 완성한 신뢰도 99% 사내 AI 봇 아키텍처
단순히 API만 연결한 LLM 봇은 왜 사내에서 금방 외면받을까요? 아임웹의 데이터 AI 봇 '쿼리곰'은 오답으로 무너진 사용자의 신뢰를 회복하기 위해 단순 답변 제공자가 아닌 '틀리지 않는 안전한 도구'로 거듭났습니다. 이 아티클은 에이전트 분할, 다차원 정보 검색, 그리고 집단지성형 메모리 설계를 통해 사내 지식 관리와 데이터 활용 방식을 혁신한 구체적인 여정을 다룹니다.
- 01단일 LLM의 확증 편향을 극복하기 위해 독립된 생성 및 검증 에이전트 시스템 도입
- 02키워드, 전문 검색, 벡터 검색을 결합한 RRF 알고리즘과 데이터 계층 우선순위를 바탕으로 불완전한 데이터 레이어 극복
- 03사용자가 오류를 수정하면 전체 직원의 봇에 즉각 반영되어 쓸수록 정교해지는 이중 메모리(Correction & Learning Memory) 아키텍처
- 04대화의 연속성을 보장하는 Slack 스레드 세션 유지, 실행 버튼, 실시간 스트리밍 등 사용자 경험(UX) 극대화
- 05봇의 종류가 늘어날 때 발생할 수 있는 혼선을 미연에 방지하기 위해 게이트웨이 패턴 도입 및 역방향 핸드오프 설계
RECOMMENDATION
사내 지식 관리나 AI 챗봇의 낮은 리텐션으로 고민 중인 AI/백엔드 엔지니어 및 프로덕트 매니저에게 강력히 권장합니다. 단순한 기술 스택 변경보다 컨텍스트 제공 방식과 신뢰 중심의 에러 처리, 실무 친화적 UX 디자인이 제품 채택에 어떤 결정적 차이를 만드는지 명확한 힌트를 얻을 수 있습니다.
The Problem
사내 데이터 분석 요청이 급증하면서 데이터팀이 병목이 되고 의사결정이 지연되는 문제가 발생했습니다. 이를 해결하고자 자연어로 SQL을 생성해 결과를 알려주는 초기 Slack AI 봇을 개발했으나, 회사 전용 테이블 구조나 도메인 용어를 이해하지 못해 엉뚱한 답변을 내놓는 등 사용자 신뢰를 잃고 리텐션이 급감했습니다.
The Solution
생성 에이전트와 병렬 검증 에이전트 3개를 분리한 멀티에이전트 검증 시스템을 구축하여 에러를 사전에 감지하고 복구하도록 했습니다. 또한 Notion, Jira, 코드베이스 등을 RRF(Reciprocal Rank Fusion) 알고리즘으로 연결한 Hybrid RAG 시스템과, 오답을 학습해 재발을 방지하는 이중 메모리 구조(Correction & Learning Memory)를 도입했습니다.
The Result
출시 7.5주 만에 에러율을 0.4% 수준으로 낮추었으며, 81명의 사용자 중 86.4%의 높은 재방문율을 확보하고 인당 요청 수도 3배가량 증가했습니다. 단일 봇의 성공을 기반으로 '무엇이든물어봐곰' 게이트웨이 패턴을 도입해 6개 봇으로 서비스를 확장하는 등 리텐션 곡선이 반등하는 효과를 거두었습니다.
Trade-off
멀티에이전트 검증과 다중 소스 검색(Hybrid RAG) 아키텍처는 모델 호출 비용(Token 사용량)과 연산 레이턴시를 증가시키는 한계가 있습니다. 단순 쿼리는 검증 과정을 건너뜀으로써 극복하고자 했으나, 복잡한 질문에 대해서는 여전히 정확도 향상을 대가로 추가 비용과 대기 시간을 감수해야 하는 트레이드오프가 존재합니다.
