Read Original
#AI

통합 검색 임베딩 모델 개발기: 디자인 검색을 하나의 표현 공간으로 묶기

통합 검색 임베딩 모델 개발기: 디자인 검색을 하나의 표현 공간으로 묶기
01

Summary

9개 검색 모델을 단 하나로! 미리캔버스가 Qwen3-VL로 완성한 차세대 멀티모달 임베딩

디자인 비율과 레이아웃을 그대로 살리는 Naive Dynamic Resolution과 LoRA 미세조정 여정

미리캔버스가 개별적으로 분산되어 작동하던 9개의 검색 서비스를 하나의 공통된 표현 공간으로 통합한 성공사례를 소개합니다. 디자인 특유의 이미지 해상도와 가로세로 비율 정보 손실을 보존하는 Qwen3-VL을 적용하고 다중 손실 함수 기반의 LoRA 학습 환경을 설계하여 일관된 멀티모달 검색 경험을 구축하는 과정을 다룹니다.

  • 01태스크별 별도 모델 서빙으로 인한 운영 리소스 낭비와 품질 개선 단절 문제 해결
  • 02텍스트, 이미지, 스타일 조건이 복합 적용된 총 9가지 다중 검색 태스크의 단일 모델화
  • 03MLLM 및 실제 유저의 채택 로그 인기도(Head/Tail)를 활용한 입체적인 노이즈 데이터 정제 전략
  • 04디자인 특화 비율과 해상도를 무손실 유지하는 Naive Dynamic Resolution(NDR) 기술 도입
  • 05LoRA를 통한 미세 조정으로 대규모 파운데이션 모델의 풍부한 일반 시각-언어 이해 지식 보존

RECOMMENDATION

다수의 단일 목적형 모델을 통합하여 서빙 및 유지 보수 비용을 절감하고자 하는 AI 엔지니어, 그리고 이미지 비율이나 레이아웃 왜곡에 민감한 도메인에서 멀티모달 검색을 개발하는 실무자에게 유용한 길잡이가 됩니다.

The Problem

미리캔버스는 다양한 형태의 디자인 검색(텍스트, 이미지, 멀티모달) 마다 각각 개별 모델(CLIP, BLIP 등)을 운영하여 운영 복잡도가 높았고, 개별 모델의 학습 성과를 전체 검색 기능으로 확장하기 어려웠습니다.

The Solution

텍스트, 이미지 및 멀티모달 쿼리를 하나의 표현 공간에서 이해하는 Qwen3-VL-Embedding 모델을 기반으로 삼고, MLLM 및 채택률 기반 필터링으로 데이터를 정제한 뒤 LoRA 파인튜닝과 3종 손실 함수(NCE, Ranking, Spread-out)를 연동했습니다.

The Result

본 아티클 1편에서는 모델 아키텍처와 학습 설계 중심의 내용을 다루어 명시적인 성능 데이터는 언급되지 않았으나, 9개의 개별 검색 태스크를 단일 모델 기반의 일관된 임베딩 공간으로 통합하여 서빙 구조를 단순화할 수 있는 기반을 다졌습니다.

Trade-off

Full Fine-Tuning 대신 LoRA 기법을 채택하여 연산 비용을 아끼고 일반 지식을 보존했으나, 도메인 극대화 적응 측면에서는 전체 가중치를 최적화하는 전적 학습 방식에 비해 고도화 성능의 최대 잠재 한계가 존재할 수 있습니다.

03

Key Concepts

Concept · 01

Naive Dynamic Resolution (NDR)

입력 이미지를 강제로 고정 크기로 조절하거나 자르지 않고 원본 비율을 보존하면서 가변적인 개수의 토큰으로 인코딩하는 방식입니다.

  • 미리캔버스의 배너, 카드뉴스, 포스터 등 다양한 이미지 규격의 왜곡을 방지합니다.
  • 디자인 특성에 최적화된 레이아웃 및 구도 정보를 손실 없이 표현 공간에 통합시켰습니다.
Concept · 02

LoRA (Low-Rank Adaptation)

거대한 사전학습 모델의 핵심 가중치는 얼린 상태에서 소수의 저차원 어댑터 행렬만 학습시키는 경량 파인튜닝 기법입니다.

  • 전체 파라미터를 업데이트하는 것에 비해 컴퓨팅 자원과 파인튜닝 비용을 극적으로 낮추었습니다.
  • 기존 멀티모달 모델이 학습했던 롱테일 쿼리 대상의 일반적인 시각-언어 상식을 안전하게 보존했습니다.
Concept · 03

Spread-out Loss

임베딩 공간을 구성할 때 데이터 포인트들이 균일하게 분포하도록 강제하여 변별력을 높이는 정규화용 손실 함수입니다.

  • 디자인 임베딩 표현들이 좁은 공간에 뭉치는 현상을 제어하고 단위 초구면 상에 넓게 뿌리도록 돕습니다.
  • 서로 다른 디자인 요소들이 높은 유사도로 뭉쳐 변별력이 흐려지는 문제를 해결했습니다.