Read Original
#AI

The Machine: AI가 AI 활용 코드를 평가하다

The Machine: AI가 AI 활용 코드를 평가하다
01

Summary

400명의 코딩 테스트, AI 에이전트가 단숨에 채점하는 법

무신사가 개발한 'AI-Native 채용 머신'의 7단계 파이프라인과 3-Tier 평가 모델 심층 분석

대규모 지원자의 AI 협업 능력을 공정하고 빠르게 평가하기 위해 구축한 멀티 에이전트 시스템의 여정을 다룹니다. 단순히 코드를 실행하는 것을 넘어, 마크다운 기반의 지침서와 정교한 루브릭 캘리브레이션을 통해 개발자의 '사고의 깊이'를 측정하는 혁신적인 접근법을 제시합니다.

  • 01멀티 에이전트 아키텍처를 통한 독립적인 컨텍스트 격리 및 400인 동시 평가 지원
  • 02마크다운을 실행 가능한 코드로 활용하여 개발 생산성을 높인 'Markdown as Code' 전략
  • 03기능 구현(Base)과 사고의 깊이(Depth)를 독립적으로 측정하는 3-Tier 평가 모델 도입
  • 04빌드 환경 불일치를 해결하기 위한 15개의 Dockerfile 템플릿과 정적 분석 기반 API 탐지
  • 05루브릭의 17회 변경과 26회 전체 재시행을 통한 AI 채점 신뢰도 확보

RECOMMENDATION

AI 코딩 에이전트 시대를 맞아 대규모 기술 평가가 필요한 기업이나, LLM을 실무 워크플로우에 통합하려는 데브옵스 및 플랫폼 엔지니어들에게 강력히 추천합니다.

The Problem

400여 명에 달하는 대규모 지원자의 AI 활용 코딩 과제를 수동으로 평가할 경우 약 800시간(5개월 이상)이 소요되어 물리적으로 불가능하며, 평가의 일관성과 객관성을 유지하기 어려운 문제가 있었습니다.

The Solution

멀티 에이전트 아키텍처를 기반으로 한 7단계 자동화 파이프라인을 구축하고, 마크다운 지침서를 실행 코드로 활용하는 'Markdown as Code' 방식과 기능(Base) 및 사고력(Depth)을 분리 측정하는 3-Tier 평가 모델을 도입했습니다.

The Result

400여 명의 평가를 자동화하여 지원자를 7단계 랭크로 분류했으며, 특히 빌드 실패자 중에서도 설계 능력이 우수한 'Thinker'군을 발굴하고 지원자별 코드 기반 맞춤형 면접 질문까지 자동 생성하는 성과를 거두었습니다.

Trade-off

AI 채점의 신뢰도를 확보하기 위해 26회의 전체 재실행과 루브릭 캘리브레이션이 필요했으며, 기능은 완벽하지만 사고가 얕은 'Hustler' 랭크의 경우 AI 활용 능력과 실무 역량 사이의 모호함을 면접에서 추가 검증해야 하는 한계가 있습니다.

03

Key Concepts

Concept · 01

Multi-Agent System

하나의 오케스트레이터가 여러 서브 에이전트를 생성하여 작업을 분배하는 구조입니다.

  • 지원자별로 독립된 서브 에이전트를 생성하여 이전 채점 결과가 영향을 주는 컨텍스트 오염을 방지했습니다.
  • 오케스트레이터가 마크다운 의사코드를 읽고 전체 프로세스를 제어합니다.
Concept · 02

Harness Engineering

에이전트 자체를 개발하기보다 에이전트가 따를 지침(Harness)과 루브릭을 설계하고 조정하는 과정입니다.

  • 마크다운 기반의 지침서를 수정하여 코드 컴파일이나 배포 없이 평가 로직을 즉시 변경했습니다.
  • JSON Schema를 통해 AI의 출력을 구조적으로 강제하고 검증 루프를 적용했습니다.
Concept · 03

3-Tier Evaluation Model

기능적 작동(Base)과 사고의 깊이(Depth)를 분리하여 엔지니어링 역량을 입체적으로 분석하는 프레임워크입니다.

  • Docker 컨테이너에서 테스트 케이스를 실행하여 기능 구현 완성도를 수치화했습니다.
  • AI가 코드와 프롬프트 이력을 분석하여 설계 및 도구 활용의 깊이를 8개 영역에서 채점했습니다.