머릿속에 있던 로그 정의 기준을 모두의 AI 스킬로 만들기
Summary
개인의 머릿속 노하우에서 모두가 쓰는 AI 스킬로: 토스 DataOps의 로그 정의 자동화 여정
AI 스킬과 CLI 검증 체계를 결합해 로그 명세 파편화를 막고 데이터 관리 일관성을 극대화한 실전 사례
토스 DataOps팀이 파편화된 앱로그 정의 프로세스를 AI 스킬과 CLI 연동으로 표준화한 과정을 다룹니다. 단순 코드 생성을 넘어 기계적 검증은 CLI(lctl)에 맡기고, 맥락 기반 판단은 AI 스킬이 수행하며, 최종 결정은 사람이 내리는 안전하고 효율적인 작업 흐름을 구축했습니다. 현업의 도메인 지식이 플랫폼 기술과 결합하여 전사 생산성 도구로 진화하는 가치를 보여줍니다.
- 01개인의 경험에 의존하던 로그 정의 프로세스를 AI 스킬로 내재화하여 전사 표준화 달성
- 02기계적 규칙 검증(lctl CLI)과 맥락적 제안(AI 스킬), 최종 승인(사람)의 명확한 역할 분담 체계 구축
- 03AI 성능 최적화를 위한 지식 문서의 모듈화 및 작업 단위별 맥락 조회 구조 도입
- 04기존 로그 및 파라미터의 재사용성을 극대화하여 중복 정의 방지 및 데이터 연결성 강화
RECOMMENDATION
복잡한 비즈니스 규칙과 도메인 맥락이 얽혀 있어 자동화하기 힘든 업무를 운영 중인 팀에 권장합니다. 규칙 검증은 CLI/시스템에 위임하고 AI에는 맥락 판단 및 제안 역할을 부여하는 Human-in-the-loop 아키텍처를 도입해보세요.
The Problem
토스 앱의 서비스 확장으로 로그 명세 정의 수요가 늘어났으나, 규칙과 도메인 맥락이 DataOps Manager 개인의 머릿속과 수동 작업에 의존하여 일관성을 유지하고 중복을 방지하기 어려웠습니다.
The Solution
로그 정의 규칙과 도메인 맥락을 담은 AI 스킬을 개발하고, 로그센터 CLI(lctl) 및 플랫폼 검증 로직과 연동하여 자동화된 로그 명세 제안 및 반영 파이프라인을 구축했습니다.
The Result
수동 입력 작업 시간이 크게 단축되어 담당자가 데이터 목적 및 구조 검토에 더 집중할 수 있게 되었으며, 기존 로그 및 파라미터 재사용률이 대폭 상승하여 일관된 데이터 분석 환경을 조성했습니다.
Trade-off
AI가 완벽히 독립적으로 처리하지 못하므로 제품 맥락 판단을 위한 인간의 최종 검토 승인 절차가 필수적이며, AI의 정확도를 유지하기 위한 도메인 지식 문서화 관리가 지속적으로 요구됩니다.
