#AI

오픈챗 이름 및 설명 글로 유해성 판단하는 모델 개발하기

Summary

LINE 오픈챗의 유해 콘텐츠 차단 비결: 2B 소형 디코더 모델로 구현한 실시간 유해성 필터링

Granite Guardian과 LoRA, 그리고 KV 캐싱으로 정확도와 인프라 비용을 동시에 해결한 여정

글로벌 메신저 LINE에서 발생하는 유해 오픈챗을 차단하기 위한 머신러닝 모니터링 시스템의 고도화 과정을 다룹니다. 기존 모델의 한계를 극복하기 위해 안전성에 특화된 Granite Guardian 소형 디코더를 도입하고, 정교한 데이터 정제와 최적의 추론 엔지니어링을 통해 성능과 비용 효율성을 극대화한 실전 노하우를 담고 있습니다.

01동일 텍스트에 다른 조치가 내려진 모순된 데이터를 TF-IDF 기법의 빈도 분석으로 논리적으로 정제
02상업적 활용이 가능한 2B 크기의 Granite Guardian 3.1 디코더를 선정하여 비용 및 실시간 추론성 충족
03LoRA 기법을 적용하여 전체 파라미터가 아닌 징계 코드와 사유 예측에 필요한 가중치 영역만 학습하여 효율성 극대화
04복잡한 징계 코드를 토크나이징 효율화를 위해 단일 자연어 토큰으로 매핑하여 모델 학습 유도
051단계 징계 코드 예측 결과를 2단계 사유 예측에 활용할 때 KV 캐싱을 적용해 추론 속도를 획기적으로 향상

RECOMMENDATION

실시간으로 생성되는 다량의 텍스트 콘텐츠에서 유해성 판단 시스템을 구축해야 하거나, 소형 LLM(sLLM)을 활용한 가성비 높은 분류 성능 최적화를 적용하고자 하는 엔지니어에게 필독을 권장합니다.

The Problem

글로벌 메신저인 LINE의 오픈챗 서비스는 하루에도 엄청난 양의 방이 생성 및 수정되어 수동 검수가 불가능한 수준이나, 기존 모니터링 모델은 미세한 가이드라인 변화 및 특정 국가의 판단 기준을 완벽히 만족하지 못했습니다.

The Solution

수동 검수 데이터의 라벨 불일치를 TF-IDF 아이디어를 기반으로 정제하고, 안전성 과제에 최적화된 소형 2B 디코더 모델인 Granite Guardian 3.1에 LoRA 미세조정(Fine-tuning)을 적용하여 징계 코드와 사유를 동시에 도출하도록 학습시켰습니다.