Read Original
#DevOps

누구나 찾아볼 수 있는 중고거래 서버 LLM 릴리즈 노트 도입기

누구나 찾아볼 수 있는 중고거래 서버 LLM 릴리즈 노트 도입기
01

Summary

당근마켓 서버 개발자가 배포 내역 정리에서 해방된 비결: LLM으로 만드는 자동 릴리즈 노트

지루한 Git 로그 분석은 이제 그만! 기술 용어를 사내 공용어로 번역하는 똑똑한 자동화 파이프라인 구축기

매번 '이 기능 언제 배포됐나요?'라는 질문에 답하느라 업무 흐름이 끊기셨나요? 당근 중고거래실에서는 LLM과 Notion을 활용해 배포 기록을 자산화하고, 비개발자도 한눈에 이해할 수 있는 릴리즈 노트를 자동으로 생성하고 있습니다. 기술 용어 번역부터 프롬프트 엔지니어링 노하우까지, 팀 전체의 커뮤니케이션 비용을 획기적으로 줄인 실전 사례를 소개합니다.

  • 01기존 인프라(GitHub Actions, Notion, Rails)를 그대로 활용한 경제적인 자동화 설계
  • 02토큰 비용 절감과 정확도 향상을 위해 코드 Diff 대신 정제된 PR 설명을 LLM 입력값으로 활용
  • 03비개발 직군을 위해 기술 용어를 사내 공용어로 변환하는 용어 변환 테이블 프롬프트 전략
  • 04코드 수정 없이 프롬프트만 다듬어 품질을 개선하는 Prompt Studio 기반의 유연한 관리 구조
  • 05자동 생성된 데이터를 활용한 주간 회고 자동화 및 AI 에이전트 연동 사례

RECOMMENDATION

반복적인 배포 현황 공유 업무로 인해 개발 리소스가 분산되는 팀이나, 개발-비개발 직군 간의 정보 격차를 해소하고 싶은 조직에 강력히 추천합니다. 특히 사내 GenAI 플랫폼이나 유연한 프롬프트 관리 도구가 준비되어 있다면 즉시 적용해볼 수 있는 훌륭한 레시피입니다.

The Problem

개발자들이 배포 시점과 내용을 확인하기 위해 매번 수동으로 Git 로그와 Pull Request를 분석해야 하는 번거로움이 있었습니다. 특히 기술 용어로 가득한 배포 내역은 비개발 직군과의 원활한 소통을 방해하여 팀 전체의 커뮤니케이션 비용을 증가시키는 요인이 되었습니다.

The Solution

GitHub Actions, Notion, 사내 GenAI 플랫폼을 연동하여 배포 기록을 자산화하고 LLM이 요약하는 파이프라인을 구축했습니다. CodeRabbit으로 정제된 PR 설명을 입력값으로 활용하고, 프롬프트에 용어 변환 규칙을 적용하여 비개발자도 이해할 수 있는 언어로 번역하는 레이어를 도입했습니다.

The Result

팀 위클리 미팅을 위한 배포 내역 정리 업무를 자동화하였으며, PM과 디자이너 등 타 직군도 실시간으로 배포 현황을 파악할 수 있는 환경을 조성했습니다. 또한 누적된 배포 데이터를 기반으로 LLM이 즉각적인 질문에 답변할 수 있는 기술 자산을 확보하게 되었습니다.

Trade-off

코드 변경점을 직접 분석하지 않고 PR 설명에 의존하기 때문에 PR 요약 도구의 품질에 따라 결과물의 정확도가 결정되는 한계가 있습니다. 또한 LLM이 유사한 PR을 하나로 합치는 등의 오류가 발생할 수 있어 매일 팀원들이 내용을 확인하고 보완하는 과정이 필요합니다.

03

Key Concepts

Concept · 01

Prompt Studio

당근에서 자체 개발한 GenAI 플랫폼으로, 코드 수정 없이 프롬프트를 작성, 테스트, 배포하고 여러 모델을 비교할 수 있는 환경을 제공합니다.

  • 프롬프트를 코드 바깥에서 관리하여 릴리즈 노트의 요약 품질을 실시간으로 개선하는 데 핵심적인 역할을 수행했습니다.
Concept · 02

CodeRabbit

AI 기반의 Pull Request 분석 도구로, 변경된 코드를 분석하여 PR 본문에 자동으로 요약 내용을 작성해주는 서비스입니다.

  • LLM이 복잡한 코드 변경점을 직접 읽는 대신 이미 정제된 요약문을 입력값으로 사용하여 비용을 절감하고 정확도를 높였습니다.
Concept · 03

Notion Relation

노션 데이터베이스 내에서 서로 다른 페이지들을 양방향으로 연결하여 관계형 데이터베이스의 외래 키와 유사한 기능을 수행하는 속성입니다.

  • 배포 DB와 PR DB를 연결하여 특정 배포에 포함된 PR과 특정 PR이 포함된 배포 정보를 양방향으로 조회할 수 있는 구조를 만들었습니다.