AI Cyber Challenge 우승 시스템을 삼성에 적용하기까지
Summary
DARPA 세계 1위 AI 보안 시스템, 삼성이 사내 서비스로 이식한 비결
외부 LLM 차단과 자원 제약을 뚫고 294개 버그 탐지 및 93.75% 자동 패치율을 달성한 여정
본 아티클은 세계적인 AI 보안 대회 AIxCC 우승 시스템인 'Atlantis'를 삼성 내부의 상시 소프트웨어 보안 점검 서비스로 구축한 실무 경험을 담고 있습니다. 사내 보안 규정으로 인한 외부 LLM 사용 제한과 막대한 자원 소모 문제를 LiteLLM 프록시 및 사내 모델 조합으로 극복한 과정을 상세히 설명합니다. 최종적으로 높은 자동 버그 패치율을 달성하며 AI 기반 자동화 보안의 실질적인 가능성을 증명했습니다.
- 01세계 최고 수준의 CRS(Cyber Reasoning System) 기술을 사내 실제 제품 및 오픈소스 검증에 성공적으로 이식
- 02보안 정책 위배 없이 사내 모델 및 Open-Weight 모델과 LiteLLM 프록시를 조합하여 외부 API 의존성 완전 제거
- 03Google OSS-Fuzz 호환 등록 방식을 채택하여 신규 프로젝트 적용에 대한 개발자 진입 장벽 최소화
- 04단 두 달간의 사내 파일럿을 통해 294개의 크래시 탐지 및 93.75%의 경이로운 자동 패치 생성 성공율 달성
- 05웹 UI 기반으로 취약점 분석 결과를 시각화하고, 개발자가 힌트를 주어 패치를 재생성할 수 있는 협업 루프 마련
RECOMMENDATION
제한된 인프라 환경에서 거대 LLM 기반 에이전트 시스템을 사내에 안착시키고자 하는 보안 담당자 및 데브옵스 엔지니어에게 LiteLLM 프록시 아키텍처와 시드 공유 기반 스케줄링 기법을 적극 추천합니다.
The Problem
DARPA AIxCC에서 우승한 보안 시스템 Atlantis를 삼성의 사내 서비스로 도입하려 했으나, 막대한 컴퓨팅 자원 및 LLM 토큰 소모 문제와 사내 보안 정책상 외부 고성능 LLM API를 사용할 수 없다는 제약에 직면했습니다.
The Solution
사내 모델 및 Open-Weight 모델을 결합하고 LiteLLM 기반의 LLM 프록시 아키텍처를 도입하여 코드 변경 없이 외부 LLM을 대체했으며, OSS-Fuzz 호환성 확보 및 웹 기반 결과 분석 툴을 구축해 개발자 워크플로우를 최적화했습니다.
The Result
사내 오픈소스 프로젝트 30개를 대상으로 2달간 검증한 결과, 총 294개의 크래시를 발견하고 시도한 취약점에 대해 93.75%의 높은 자동 패치 생성율을 기록했습니다.
Trade-off
보안 정책으로 인해 고성능 외부 LLM 대신 사내 및 오픈소스 모델을 사용함에 따라 완벽한 패치 생성이 보장되지 않아 개발자의 수동 검증 및 추가 힌트 제공이 필요하며, 대규모 자원 제약 하에서 패치 품질을 타협해야 할 가능성이 존재합니다.
Key Concepts
More from Samsung Tech
View all posts from Samsung TechLLM에게 계산을 시키지 마세요 — 숫자를 '신뢰'할 수 있는 AI 데이터 애널리스트 개발기
LLMData AnalyticsMulti-Agent System2주 전전문가를 넘어선 AI – 5G vRAN 추론 코드 자동 생성을 위한 Multi-Agent 컴파일러
LLMMulti-AgentSIMD2개월 전가전제품 MCU 펌웨어, AI가 100% 개발하는 시나리오 가능한가
AI AgentMCUFirmware2개월 전AI 저작권 소송 – 美 법원의 판단 기준
Generative AICopyright LawFair Use3개월 전6G를 위한 AI/ML 물리계층 – JSCM 기반 오디오 전송
6GJSCMSemantic Communication3개월 전