1. 프로젝트 개요
- 개발 기간: 2020. 01 ~ 2020. 03 (3개월)
- 개발 인원: 백엔드 개발 3명
- 담당 역할:
- 팀원으로서 서비스 개발 참여
- 이상 탐지 알고리즘 방향 제안 (기여도 100%)
- 이상 탐지 알고리즘 구현 (기여도 30%)
- 기술 스택: Java, Spring Boot, Redis, Couchbase, Kafka
2. 배경 및 필요성
- 쿠팡은 타 플랫폼과 가격을 맞추는 다이나믹 프라이싱(Dynamic Pricing) 정책을 운영하고 있습니다.
- 이 과정에서 판매자의 실수나 시스템 오류로 인해 '가짜 낮은 가격'(예: 3개 묶음 상품을 1개 가격으로 등록)이 발생하여 경제적 손실과 고객 불만이 생기는 문제를 해결해야 했습니다.
3. 프로젝트 목표
- 개별 상품(Item) 단위의 지표를 실시간으로 추적할 수 있는 대시보드 구축
- 통계적 기법을 활용하여 이상 징후를 조기에 발견하는 탐지 도구 개발
- 발견된 이슈를 유관 부서(Stakeholders)가 즉시 인지하고 대응할 수 있는 리포팅 시스템 구축
4. 서비스 아키텍처
서비스는 크게 세 단계의 파이프라인으로 구성됩니다:
- 기반 데이터 생성: 수백만 건의 주문 및 가격 데이터를 Kafka 등을 통해 실시간 수집
- 분석 (Discovery): 수집된 데이터를 통계적으로 분석하여 이상 가격 상품을 추출
- 리포팅 (Decision / Action): 분석 결과를 백오피스 관리자 페이지 및 자동 메일 발송을 통해 공유
5. 주요 구현 및 분석 프로세스
- 이상(Anomaly)의 정의: 원가 대비 과도한 가격 변동, 마진율의 급격한 하락, 평소 대비 비정상적인 판매량 급증 등을 '의도하지 않은 가격'으로 정의했습니다.
- 데이터 전처리 및 그룹핑:
- 수백만 건의 데이터를 시간대별, 상품 카테고리별로 그룹핑했습니다.
- Redis(5분 단위 데이터)와 Couchbase 기반 검색 엔진을 사용하여 대용량 데이터를 효율적으로 처리했습니다.
- 이상 탐지 알고리즘:
- Z-Score 등 통계적 기법을 활용하여 데이터 분포에서 벗어난 이상치를 탐지했습니다.
- 정상적인 가격 범위(Threshold)를 동적으로 설정하여 탐지 정확도를 극대화했습니다.
6. 프로젝트 성과
- 이상 가격 탐지의 정확도를 크게 높여 실질적인 가격 오류에 즉각 대응할 수 있는 환경을 마련했습니다.
- 기존의 수동 모니터링 공수를 시스템으로 대체하여 운영 효율성을 증대하고 경제적 리스크를 감소시켰습니다.