#AI

측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기

Summary

SFT만으론 한계가 있었다! 올리브영이 sLLM을 고객 지면에 맞게 길들이는 법

글자 수 제한부터 문맥 적합성까지, DPO와 GRPO 정렬 학습으로 완성한 AI Pick 추천 카드 고도화 여정

올리브영의 개인화 추천 지면인 'AI Pick'에 들어갈 카드를 생성하기 위해, sLLM(Gemma 3)을 도입하며 겪었던 품질 개선 여정을 소개합니다. 단순히 프롬프트 제어나 SFT 학습만으로는 만족시키기 어려웠던 까다로운 UI 제약과 자연스러움의 조화를 해결하기 위해 저자들은 독창적인 평가 지표를 제안합니다. 형식 검증기와 외부 모델 기반의 NLL 평가 체계를 구축하고, 이를 기반으로 선호 학습(Alignment Learning)을 적용해 서비스 안정성과 품질을 모두 잡은 실무 노하우를 공유합니다.

01상용 LLM(Gemini 2.5 Pro) 대비 SFT를 마친 Gemma3-4B 모델의 뛰어난 한국어 가이드라인 준수율(최대 35%p 향상) 입증
02글자 수 제한과 자연스러움이라는 상충 관계를 극복하기 위한 다각적인 파이프라인 설계 전략 제공
03측정하기 어려운 '자연스러움'과 '문맥적합성'을 평가하기 위해 한국어 sLLM의 NLL(Negative Log-Likelihood)을 프록시 지표로 정의 및 수치화
04정밀한 규칙 검증기와 확률 지표를 정렬 학습(DPO, GRPO)의 피드백 신호로 활용하여 모델 생성 품질 고도화

RECOMMENDATION

제한된 인프라 환경에서 엄격한 비즈니스 룰과 UI 제약을 만족하는 자연스러운 텍스트 생성 모델을 개발해야 하는 AI 엔지니어 및 데이터 사이언티스트에게 적극 추천합니다. LLM의 결과를 사후 필터링하는 대신, 평가 지표를 정량화하고 이를 강화학습 정렬 피드백으로 활용하려는 실무진에게 훌륭한 레퍼런스가 될 것입니다.

The Problem

올리브영의 추천 지면 'AI Pick'에서 상품 특징을 기반으로 카드의 추천 문구를 생성할 때, SFT(Supervised Fine-Tuning)만으로는 글자 수 제한이나 어미 규칙 같은 엄격한 형식 조건을 완전히 만족하지 못해 약 20%의 형식 위반이 발생했으며, 상품 설명과 모순되는 그럴듯한 오정보(할루시네이션)를 생성하는 품질 한계가 존재했습니다.

The Solution

형식 준수 여부는 정규식 기반의 규칙 검증기를 적용해 통과 여부를 가리고, 문맥의 자연스러움과 문맥 적합성은 외부 고정 모델(Polyglot-Ko-1.3B)을 활용해 NLL(Negative Log-Likelihood) 기반의 정량적 프록시 지표(nll_nat, nll_ctx)로 정의한 뒤, 이를 보상 학습 신호로 연계하는 정렬 학습(DPO, GRPO)을 도입했습니다.

The Result

품질을 수치화하는 자체 평가 시스템과 선호 최적화 기법을 도입함으로써 생성 모델이 사후 필터링에만 의존하지 않고 비즈니스 제약과 언어적 자연스러움을 동시에 타협하며 학습하도록 유도했으며, 실무 적용을 위해 필수적인 추천 카드의 서비스 안정성과 통과율을 대폭 향상했습니다.

Trade-off

텍스트의 자연스러움과 엄격한 글자 수 제약 간의 고유한 결합 난이도로 인해 두 마리 토끼를 완벽하게 잡기 어렵다는 내재적 한계가 있으며, 정량 평가를 위해 외부 평가 모델을 상시 가동하고 매번 NLL을 연산해야 하므로 서빙 파이프라인의 연산 복잡도와 비용이 증가할 우려가 있습니다.

Key Concepts

Concept · 01

정렬 학습 (Alignment Learning)

지도 미세 조정(SFT) 이후 언어모델이 인간의 선호도나 특정 비즈니스 가이드라인, 안전성 기준에 맞게 행동하도록 모델의 출력 분포를 조정하는 사후 학습(Post-training) 단계입니다.

본문에서는 단순 SFT만으로는 달성하기 힘든 글자 수 제한 및 상품 설명 부합 수준을 끌어올리기 위해 DPO와 GRPO를 활용한 정렬 학습을 전개했습니다.

Concept · 02

NLL (Negative Log-Likelihood) 프록시 지표

언어모델이 특정 텍스트를 생성할 때 계산하는 다음 토큰의 확률값을 기반으로 하여, 생성된 결과물이 얼마나 자연스러운 한국어 문장인지를 정량 평가하기 위한 손실값 기반의 대체 지표입니다.

독립된 외부 평가 모델(Polyglot-Ko-1.3B)을 고정하여 카드 문구 자체의 자연스러움(nll_nat)과 입력 상품 특징 대비 문맥적합성(nll_ctx)을 수치화하는 도구로 도입했습니다.

Concept · 03

SFT (Supervised Fine-Tuning)

특정 태스크에 맞는 질문과 모범 답안 쌍으로 구성된 데이터셋을 사용해 사전 학습된 언어모델의 파라미터를 교사 학습 방식으로 정밀하게 조정하는 기법입니다.

올리브영의 추천 문구 가이드라인에 맞춘 전용 학습 데이터셋을 구축하고, Gemma 3-4B 모델을 기반으로 1차 SFT를 수행하여 상용 모델 대비 준수율을 크게 높였습니다.

Continue reading · same source

More from 올리브영

View all posts from 올리브영

측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기

Summary