Read Original
#AI

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계

보안 업무를 위한 AI 에이전트 플랫폼 「SAGE」 개발기 1편: 판단은 사람에게 남기는 설계
01

Summary

AI에게 결론을 맡기지 마라! 라인이 설계한 '사람을 돕는' 보안 AI 에이전트 SAGE 개발기

환각이 치명적인 보안 영역에서 멀티 에이전트와 MCP를 활용하여 일관되고 빠른 의사결정을 지원하는 플랫폼 설계법

보안 업무에 AI를 도입하고 싶지만 환각 현상으로 인한 리스크 때문에 고민하고 계셨나요? LY Corporation 보안 개발 팀이 구축한 'SAGE'는 '판단은 사람에게 남긴다'는 확고한 설계 원칙으로 보안 도메인에 안전하게 안착한 AI 에이전트 플랫폼입니다. RAG와 MCP 기술을 통해 다양한 채널의 파편화된 사내 지식을 하나로 모으고 담당자의 1차 조사 업무를 완전히 자동화해 줍니다.

  • 01완전 자율 판단 대신 사람의 검토를 전제로 설계된 3단계 도입 프로세스
  • 02Jira 티켓 정리, Slack 실시간 1차 안내, 웹 기반 보안 분석 도구를 아우르는 3대 진입점 구축
  • 03복잡도 분석을 통해 간단, 보통, 복잡의 3단계로 구성 요소와 분량을 가변화하는 유연한 아키텍처
  • 04Model Context Protocol(MCP)을 사용해 실시간 위키 규정 본문을 조회하여 높은 인용 신뢰성 확보
  • 05사용자 반응 데이터와 부정 피드백을 기반으로 매주 답변 정책을 점진적으로 갱신하는 휴먼 인 더 루프 체계

RECOMMENDATION

신뢰성이 최우선인 보안, 인프라, 법률 등의 사내 지원 업무에서 안전하고 지속 가능한 LLM 기반 자동화 및 도구 구축을 목표로 하는 개발자에게 강력히 권장합니다.

The Problem

사내 보안 부서로 인입되는 각종 상담 및 문의 처리를 위해 담당자가 Jira, Confluence, Slack 등에 산재된 규정과 이력을 각각 수집해야 하는 번거로움이 있었습니다. 이로 인해 답변 품질과 처리 시간에 편차가 발생했으며, 보안 도메인의 특성상 AI가 단독으로 잘못 판단할 경우 치명적인 리스크가 발생하는 문제가 있었습니다.

The Solution

LY Corporation은 판단 주권을 사람에게 남겨두되 자료 수집과 정리를 자동화하는 AI 플랫폼 'SAGE'를 개발하였습니다. Jira, Slack, 전용 웹 UI의 3개 진입점을 구현하고 Langflow, GPT, OpenSearch, MCP를 조합하여 각 단계를 전담하는 멀티 에이전트 워크플로우를 구축했습니다.

The Result

담당자가 답변하기 전에 관련 규정과 유사 과거 이력을 자동으로 수집해 주어 일관된 고품질의 응대를 빠르게 제공할 수 있게 되었으며, Slack 채널을 통해 담당자 부재 시에도 임시 1차 조치 가이드를 제공합니다. 정확한 수치는 보안상 공개되지 않았으나, 매주 피드백 루프를 통해 답변 품질과 판단 정확도를 높이고 있습니다.

Trade-off

AI가 직접 확정 결론을 내리지 않으므로 보안 담당자가 상시 답변을 검토하고 승인하는 리소스(Human-in-the-Loop)가 지속적으로 필요합니다. 또한, 검색 증강 생성(RAG)의 특성상 모델 성능보다 사내 문서 및 인덱스의 정리 수준에 전체 시스템의 답변 품질이 크게 종속됩니다.

03

Key Concepts

Concept · 01

MCP (Model Context Protocol)

LLM이 외부 데이터 소스나 도구와 안전하고 표준화된 방식으로 연결하여 실시간 데이터를 조회할 수 있도록 돕는 프로토콜입니다.

  • SAGE 플랫폼 내에서 Jira 및 Confluence 위키의 사내 보안 규정과 가이드 원문을 실시간으로 조회하여 인용할 때 사용됩니다.
Concept · 02

RAG (검색 증강 생성)

질문에 필요한 정보를 외부 데이터베이스에서 먼저 검색한 뒤, 해당 정보를 기반으로 LLM이 보다 신뢰성 있는 답변을 하도록 유도하는 기술입니다.

  • OpenSearch Vector Store에 보관된 과거 상담 내역 및 보안 운영 노하우 임베딩 데이터에서 유사 사례를 탐색하는 데 활용됩니다.
Concept · 03

휴먼 인 더 루프 (Human-in-the-Loop)

시스템의 자동화 흐름 속에 사람이 개입하여 검증과 승인을 수행함으로써 프로세스의 안전성과 품질을 극대화하는 운영 모델입니다.

  • AI가 생성한 분석 제안을 담당자가 최종 검토한 후에만 공식 답변이 되도록 설계하여 책임 경계를 고정했습니다.
  • Slack에서 수집한 부정 피드백을 매주 검토하고 답변 규칙에 반영하는 순환 구조를 구축하는 데 활용되었습니다.