Read Original
#AI

금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기

금융 보안 퀴즈, AI에게 풀게 해봤습니다: 2025 금융 AI Challenge 우수상 후기
01

Summary

단 24GB GPU로 금융보안 정복! 카카오뱅크 팀의 AI 퀴즈 챌린지 우승기

모델 선정부터 CPT, RAG, 양자화까지 극한의 제약 조건을 뚫어낸 풀스택 LLM 튜닝 전략을 공개합니다.

제한된 자원 속에서 최적의 금융보안 AI 모델을 개발하기 위한 카카오뱅크 LostCow 팀의 치열한 기술적 여정을 담은 아티클입니다. 단순한 모델 학습을 넘어 법령과 가이드라인이라는 도메인 데이터를 다루는 정교한 전처리법과 엔지니어링 최적화 노하우를 상세히 다루며, 실전에서의 LLM 도메인 적응을 위한 구체적인 가이드라인을 제시합니다.

  • 0124GB VRAM 제약에서 30B급 성능을 끌어낸 MoE 구조와 4bit 양자화 최적화 전략
  • 02법령의 엄밀함과 가이드라인의 서술성을 단계적으로 주입한 전략적 2단계 CPT 기법
  • 03지식 저장소인 MLP 레이어와 토큰 임베딩을 정밀 타격한 차별화된 LoRA 적용 범위 설계
  • 0413단계 필터링 규칙 적용만으로 RAG 검색 성능을 극대화한 데이터 엔지니어링 노하우
  • 05객관식 정답의 파싱 오류를 원천 차단하는 xgrammar 기반 Structured Output 활용

RECOMMENDATION

제한된 인프라에서 특정 전문 분야(법률, 금융 등)의 언어 모델을 구축해야 하는 엔지니어에게 강력히 추천합니다. 특히 정확도가 생명인 도메인에서 BM25 RAG와 Structured Output의 결합은 즉각적인 효과를 낼 수 있는 실무 전략입니다.

The Problem

24GB VRAM이라는 제한된 하드웨어 환경에서 금융보안 지식 이해도(FSKU)를 평가하는 객관식과 주관식 문제를 단일 모델로 동시에 해결해야 하는 과제에 직면했습니다. 특히 객관식의 엄밀한 형식 요구사항과 주관식의 풍부한 서술 요건을 모두 충족하면서 오프라인 환경 내의 시간 제약까지 준수해야 하는 기술적 난점이 존재했습니다.

The Solution

Qwen3-30B-A3B MoE 모델을 선정하여 법령과 가이드라인을 단계적으로 학습시키는 2단계 CPT 전략을 도입하였으며, 레이어별 LoRA 적용 범위를 차별화하여 도메인 지식을 주입했습니다. 또한 13단계 필터링을 거친 BM25 기반 RAG와 Gate 레이어를 보존한 4bit 양자화, 그리고 객관식 정답 보장을 위한 xgrammar 기반 Structured Output 기술을 통합 적용했습니다.

The Result

베이스 모델 대비 최종 성능을 6.8%p 향상시켰으며, Public 리더보드 1위 및 Private 리더보드 2위를 기록하며 최종 우수상을 수상하는 성과를 거두었습니다. 특히 데이터 전처리 고도화만으로 RAG 검색 품질을 4.5%p 개선하여 데이터 품질이 모델 성능에 직결됨을 입증했습니다.

Trade-off

내부 추론 과정을 생성하는 Thinking 모델의 경우 CPT 학습 패턴과 충돌하여 성능이 급감하는 한계가 발견되어 도입 대상에서 제외되었습니다. 또한 금융 도메인의 특수성으로 인해 의미적 유사도 기반의 Dense 검색보다 키워드 기반의 BM25가 더 효과적이었으며, 하이브리드 검색 시 오히려 노이즈가 유입되는 트레이드오프가 관찰되었습니다.

03

Key Concepts

Concept · 01

MoE (Mixture-of-Experts)

전체 파라미터 중 일부 전문가 레이어만 선택적으로 활성화하여 추론하는 구조로, 큰 모델의 지식 용량과 작은 모델의 연산 효율성을 동시에 확보하는 아키텍처입니다.

  • Qwen3-30B-A3B 모델을 통해 24GB 메모리 내에서 30B급 지식 용량을 활용함
  • 128개 전문가 중 8개만 활성화하여 추론 시간 및 자원 사용량 최적화
Concept · 02

CPT (Continual Pre-Training)

이미 학습된 베이스 모델에 특정 도메인의 텍스트 데이터를 추가로 학습시켜 해당 분야의 전문 용어와 지식 체계를 내재화하는 기법입니다.

  • 1단계 법령 학습으로 엄밀한 기준 확립, 2단계 가이드라인 학습으로 실무적 표현력 보강
  • 치명적 망각을 방지하기 위해 LoRA를 활용한 파라미터 업데이트 범위 최적화
Concept · 03

Structured Output

언어 모델의 출력을 특정 JSON 스키마나 정해진 토큰 범위 내로 강제하여 결과의 일관성을 보장하고 파싱 오류를 방지하는 기술입니다.

  • xgrammar를 활용하여 객관식 문제 답변을 지정된 번호 토큰으로만 제한
  • 후처리 과정에서의 규칙 기반 파싱 난이도를 제거하여 채점 정확도 확보