AI가 내 프롬프트를 흘려듣는 이유: 원리부터 다시 본 컨텍스트 엔지니어링
Summary
AI가 내 프롬프트를 자꾸 무시하나요? 범인은 프롬프트가 아니라 '컨텍스트'입니다
어텐션 원리와 컨텍스트 윈도우를 활용해 엉뚱한 코드를 내뱉는 AI를 길들이는 실무 가이드
이 아티클은 디자인 시스템 코드 생성용 MCP 서버 개발 과정에서 겪은 LLM의 불일치 문제를 해결하기 위해, LLM의 작동 원리인 어텐션과 컨텍스트 윈도우를 다시 분석합니다. 프롬프트 작성 팁을 넘어 토큰 전체의 판을 짜는 '컨텍스트 엔지니어링'과 성공 기준을 제어하는 '하네스 엔지니어링'의 구체적인 실무 적용법을 다룹니다.
- 01LLM은 사람이 읽듯 순서대로 읽지 않고 어텐션 기반의 단어 간 관련도 가중치로 정보를 동시에 처리합니다.
- 02컨텍스트 윈도우 중앙에 위치한 정보는 유실되기 쉬우며(Lost-in-the-Middle), 정보가 너무 많으면 어텐션이 희석됩니다.
- 03모델의 '아첨 성향(Sycophancy)'을 극복하기 위해 유도신문을 피하고 약점이나 반례를 먼저 찾도록 지시해야 합니다.
- 04최신 추론형 LLM에는 절차를 하나씩 떠먹이기보다 검증 가능한 '성공 기준(하네스)'과 원리 기반의 추상화된 규칙을 주어야 효과적입니다.
- 05복잡한 지시문은 원자 단위로 쪼개고, 컴포넌트 선택 사다리(단계적 하강 구조)를 설계하여 일관된 코드 출력을 보장합니다.
RECOMMENDATION
AI 코드 생성이나 프롬프트 자동화 파이프라인을 구축하려는 엔지니어에게 추천하며, AI의 일관성 없는 대답 때문에 고생하고 있다면 당장 컨텍스트에 담긴 노이즈를 쳐내고 성공 조건을 정량화하는 하네스를 설계할 것을 권장합니다.
The Problem
디자인 시스템 규칙에 맞는 코드를 생성하도록 AI를 가이드하기 위해 가이드라인을 작성했으나, 생성 결과가 일관되지 않고 가이드를 완전히 무시하여 규칙에 어긋난 코드를 작성하는 문제가 발생했습니다.
The Solution
LLM의 어텐션 메커니즘과 유한한 컨텍스트 윈도우의 작동 원리를 바탕으로, 정보를 최소화하여 전달하는 컨텍스트 큐레이션, 원자 단위의 명확한 지시문 분해, 사후 검증 규칙셋 도입(하네스 엔지니어링), 그리고 단계별 컴포넌트 선택 사다리 구조를 적용했습니다.
The Result
Figma 입력을 기반으로 반복 생성한 코드 분석 결과, 기존에 5회 실행 중 1~2회꼴로 발생하던 가이드 미준수 및 흔들림 빈도가 10회 중 1회 미만으로 크게 감소하였습니다.
Trade-off
다만 컨텍스트를 과도하게 정제하는 과정에서 핵심 제약 사항이 누락될 경우 하위 에이전트가 동일한 오류를 반복할 수 있으며, 최신 추론 모델에서 불필요하게 촘촘한 절차적 규정은 오히려 성능 저하를 유발할 수 있습니다.
Key Concepts
More from 우아한형제들
View all posts from 우아한형제들
한 번 성공하니 다음도 쉬울 줄 알았다: 최소주문금액바 4번의 A/B실험
AB TestingConversion RateUX Design1주 전
사람도 AI도 놓친 번역 누락, ESLint 플러그인을 만들어 해결하기
ESLintASTi18n2주 전우아한공방의 새로운 동료, 시스템 맥락을 가진 챗봇서비스 개발기(feat. RAG)
AWS BedrockRAGLangChain1개월 전하네스 엔지니어링(harness engineering)으로 팀 맞춤형 AI 환경 구축하기
CursorLLMHarness Engineering2개월 전5년 동안 못 푼 배민 다국어 숙제, AI와 함께 한 달 만에 끝내기
LLMAWS BedrockSpring AI3개월 전
