Read Original
#AI

[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까

[AI 해커톤 후기] 코드와 문서만 읽은 LLM은 어떻게 사람과 같은 팀을 1위로 골랐을까
01

Summary

심사위원 LLM의 등장! 코드만 읽고도 사람과 통하는 눈을 가질 수 있을까?

네이버 사내 해커톤에서 증명된 'LLM as a Judge'의 놀라운 정확도와 자동화 채점 파이프라인 설계 전략을 공개합니다.

본 아티클은 사내 AI 해커톤에서 제출된 수많은 결과물을 일관된 기준으로 빠르게 평가하기 위해 LLM을 평가자로 활용한 실제 사례를 다룹니다. 단순히 기술 적용에 그치지 않고 사용자의 실무를 얼마나 끝까지 자동화했는지를 평가 루브릭으로 설계하여 신뢰도를 높였습니다. 사람의 직관적 판단과 LLM의 분석 결과가 놀라울 정도로 일치하는 과정을 통해 개발 프로세스 자동화의 새로운 가능성을 제시합니다.

  • 01단 하루 만에 제출된 25개 MVP의 코드와 문서를 일관된 기준으로 자동 채점하는 파이프라인 구축
  • 02단순 AI 데모를 넘어 실제 업무 흐름이 완결성 있게 이어지는지를 측정하도록 설계된 세부 루브릭 수립
  • 03컨텍스트 오염을 막기 위해 팀별 채점 에이전트와 전체 취합 에이전트의 역할을 물리적으로 분리
  • 04세 개 과제 중 두 개 과제에서 LLM 평가, 출제자 추천, 대중 평가 1위가 완벽히 일치하는 성과 도출
  • 055회 반복 평가 실험을 통해 우수 솔루션의 점수 일관성과 상위권 유지 경향성 검증

RECOMMENDATION

해커톤 채점뿐만 아니라 복잡한 사내 프로젝트의 아키텍처 검증이나 실무 워크플로우 완결성을 정량적으로 사전 평가하고 싶을 때 LLM 평가 파이프라인 도입을 강력히 권장합니다.

The Problem

네이버 사내 AI 해커톤에서 하루 동안 제출된 25개 팀의 MVP 코드와 문서를 짧은 시간 안에 공정하고 일관되게 평가해야 하는 과제가 있었습니다.

The Solution

루브릭(채점 기준표)을 학습한 LLM 평가 에이전트(Codex)를 도입하여 코드와 발표 자료 분석을 자동화하고, 개별 팀 평가와 문제별 취합 역할을 에이전트 단위로 분리하여 공정성을 확보했습니다.

The Result

세 개 문제 중 두 개 문제에서 LLM이 선정한 1위 팀이 문제 출제자의 선택 및 사람이 투표한 최종 우승팀과 완벽히 일치하였으며, 반복 평가 시에도 상위권 팀의 순위가 비교적 안정적으로 유지되었습니다.

Trade-off

실제 코드를 실행하여 검증하지 못하고 정적 코드와 문서에만 의존해 평가했기 때문에 점수 차가 적은 경우 순위 변동 가능성이 있어, 향후 병렬 반복 평가 및 평균 점수 도출이 보완책으로 필요합니다.

03

Key Concepts

Concept · 01

LLM as a Judge

인간 평가자 대신 대형 언어 모델(LLM)을 활용하여 텍스트, 코드, 답변 결과물 등의 품질을 평가하고 정량적 점수나 정성적 피드백을 산출하는 기법입니다. 일관된 프롬프트와 평가 가이드라인을 제공함으로써 대규모 데이터나 코드를 신속하고 객관적으로 채점할 수 있습니다.

  • 네이버 사내 해커톤에서 25개 참가팀의 코드 저장소와 제출 문서를 공정하고 빠르게 평가하기 위한 메인 심사 도구로 활용되었습니다.
Concept · 02

평가 루브릭 (Evaluation Rubric)

학습이나 과제 수행 결과를 평가하기 위해 세부 항목별로 마련해 놓은 구체적이고 체계적인 채점 기준표입니다. LLM 평가가 주관적인 오류에 빠지지 않도록 유도하는 명확한 제어 도구 역할을 합니다.

  • 기능 완성도, 기술 구현, 차별성, 문서화의 4가지 공통 평가 축을 정의하고 업무의 시작부터 끝까지 자동화가 이어지는지를 판별하도록 설계했습니다.
Concept · 03

역할 분리 에이전트 구조 (Multi-Agent Decoupling)

하나의 AI 모델이 복잡한 전체 작업을 다 처리하게 하지 않고, 세부 작업 단위로 전담 에이전트를 독립적으로 배치하는 협업 아키텍처입니다. 특정 컨텍스트나 이전의 판단이 다른 작업에 부정적 영향을 끼치거나 인상이 혼조되는 현상을 방지합니다.

  • 팀별 채점을 수행하는 team-evaluator와 이를 취합 및 비교하는 topic-lead 에이전트로 책임을 분할하여 평가의 객관성과 신뢰성을 극대화했습니다.