
강화학습부터 설명 가능한 AI까지, 글로벌 석학들이 주목한 3대 금융 테크 트렌드 완벽 정리
카카오뱅크 기술연구소가 세계 최고 권위의 금융 AI 학회 ICAIF 2025에 참석하여 RAG 평가 자동화 연구 성과를 공유하고, 최신 금융 AI 기술의 흐름을 분석한 리포트입니다. 단순한 성능 지표를 넘어 에이전트 시스템의 윤리성, 의사결정 중심 학습, 신뢰할 수 있는 평가 프레임워크 등 실무 중심의 핵심 인사이트를 다룹니다.
금융 도메인에서 RAG 시스템을 운영하며 데이터 구축 비용으로 고민하는 엔지니어나, 최신 글로벌 금융 AI 연구 트렌드를 실무에 접목하려는 데이터 과학자에게 강력 추천합니다.
금융 정보 검색 AI(RAG)의 성능을 정밀하게 평가하기 위해서는 방대한 질문-답변 데이터셋이 필요하지만, 사람이 이를 직접 구축하는 것은 막대한 시간과 비용이 소요되며 데이터의 정적 특성으로 인해 변화하는 금융 환경을 즉각 반영하기 어렵다는 문제가 있습니다.
LLM을 활용해 평가용 쿼리와 답변을 동적으로 생성하는 파이프라인을 구축하고, 생성된 질문이 주어진 문서로 답변 가능한지 판단하는 '답변 가능성 평가(Answerability Assessment)' 모듈을 도입하여 고품질의 평가 데이터셋을 자동으로 생성하는 방법론을 제안했습니다.
해당 연구는 ICAIF 2025에서 상위 15% 논문에 주어지는 Oral 세션 발표 기회를 얻어 기술적 우수성을 입증했으며, 사람이 만든 것과 유사한 수준의 고품질 평가 데이터를 효율적이고 일관되게 구축할 수 있는 가능성을 열었습니다.
Trade-off
LLM 기반의 자동 생성 방식은 모델 자체의 환각(Hallucination)이나 숫자에 대한 계산 오류 가능성을 완전히 배제할 수 없으며, 시간에 따른 데이터의 의미 변화(Semantic Drift)를 포착하기 위해 지속적인 벤치마크 업데이트와 정교한 정량적 측정이 수반되어야 합니다.
질문에 대해 주어진 문서가 충분한 정보를 포함하고 있는지 판단하는 과정입니다. 카카오뱅크는 이를 통해 LLM이 생성한 저품질 질문을 걸러내고 평가 데이터셋의 신뢰성을 확보했습니다.
예측 모델의 오차를 줄이는 것보다 최종 의사결정의 결과(예: 포트폴리오 성과)를 직접 최적화하도록 학습하는 기법입니다.
AI 모델의 복잡한 블랙박스 결과를 인간이 이해할 수 있도록 설명하는 기술입니다.




