Jev로 판단하고 AWS DevOps Agent로 조사하는 AI 팀원 만들기
Summary
AI 에이전트에게 룰북만 더하고 계신가요? 아임웹 인프라팀의 신뢰받는 'AI DevOps 동료' 제작기
판단은 초고속 Jev로, 조사는 AWS DevOps Agent로! 팀의 진짜 노하우를 이식해 스스로 일하는 똑똑한 봇 구축하기
장애 원인 조사와 PR 리뷰 등 하루에도 수없이 쏟아지는 인프라팀의 반복적 운영 업무를 자동화하기 위한 생생한 AI 도입기입니다. 단순 규칙 기반의 통제에서 벗어나 판정 전용 모델 Jev와 AWS DevOps Agent의 역할을 정밀하게 나누고, 팀원들의 살아있는 피드백이 실시간으로 동기화되는 지식 순환 구조를 만들었습니다. 에이전트가 가진 현실적인 한계점을 우회하는 설계 팁까지 담겨 실무에 바로 적용할 수 있는 강력한 인사이트를 선사합니다.
- 01판정 전용 System One 모델 Jev를 도입하여 요청 분류 및 처리 시간 대폭 단축 (평균 3.7초에서 2.5초로 개선)
- 02AssumeRole 번거로움 없이 다중 계정과 GitHub 조직을 넘나들며 스스로 조사하는 AWS DevOps Agent의 관리형 성능 극대화
- 03프롬프트 인젝션 예방을 위해 길고 장황한 설명 규칙 대신 명확하고 간결한 규칙 중심으로 에이전트 지침 고도화
- 04A2A(Agent-to-Agent) 표준 프로토콜을 통해 DevOps 슬랙 봇과 에이전트 간의 매끄러운 작업 요청 및 결과 전달 달성
- 05👍/👎 버튼 및 스레드 대화 내용을 분석해 AI 지식베이스의 정확도를 실시간으로 자동 갱신하는 피드백 루프 구축
RECOMMENDATION
멀티 클라우드 및 다중 AWS 계정 환경을 관리하며 반복적인 Slack 운영 문의나 PR 검토 업무 자동화를 꾀하는 DevOps 엔지니어에게 적극 추천합니다. AI에게 맹목적인 코딩 제약을 주기보다 사내 런북과 RAG 지식베이스를 유기적으로 조합하는 것이 실제 에이전트의 완성도를 어떻게 높이는지 배울 수 있습니다.
The Problem
인프라팀은 장애 원인 조사, PR 리뷰, 비용 문의 등 수많은 반복적 운영 업무를 직접 처리하느라 리소스가 분산되는 문제를 겪었습니다. 이를 해결하기 위해 초기에 AI 에이전트를 도입했으나, 규칙과 코드로 완벽히 통제하려 할수록 답변의 품질이 오히려 더 떨어졌고 Claude 모델 단독 사용 시 요청 분류에 평균 3초 이상이 소요되는 한계가 있었습니다.
The Solution
AWS의 관리형 AI 에이전트인 AWS DevOps Agent를 도입해 다중 계정 및 저장소의 리소스 조사를 전담시키고, 초고속 판정 전용 모델인 Jev를 앞단에 배치하여 신속하게 요청을 1차 분류하는 아키텍처를 설계했습니다. 가드레일 지침은 간결한 실행 규칙만 남기고 사내 지식베이스를 연동하여 팀의 노하우를 '참고 지침' 형태로 제공했으며, 👍/👎 버튼 및 자연어 스레드 피드백이 지식베이스에 즉각 반영되는 루프를 구현했습니다.
The Result
Jev 모델 도입을 통해 전체 요청의 약 40%를 빠르게 처리하며 평균 분류 시간을 3.7초에서 2.5초로 줄였고, 98.6%의 높은 분류 신뢰도를 확보했습니다. DevOps 봇이 반복적인 인프라 운영 업무 및 조사를 안정적으로 분담함으로써 인프라팀이 더 본질적인 핵심 업무에 집중할 수 있는 환경이 조성되었습니다.
Trade-off
AWS DevOps Agent는 코드 내부를 직접 제어할 수 없는 완제품형 관리형 서비스이기 때문에 콘텐츠 안전 필터에 의해 차단될 때 원인 분석이 어려우며, 스킬 하나당 담을 수 있는 파일 수가 100개로 제한되는 제약이 있습니다. 또한 여러 단계를 오가는 심층 조사 방식을 취하므로 실시간 장애 대응이 필요한 일촉즉발의 긴급 상황에서는 피드백 속도가 다소 느리다는 약점이 있습니다.
