AI
브랜디 ML팀의 Change Point Detection (CPD) 모델 도입기
두줄요약
커머스 시계열 지표의 급변을 자동 감지하기 위해 온라인 CPD와 SDAR 기반 모델을 도입했습니다. Airflow와 Glue로 ETL·알림 파이프라인을 구성해 Slack 경보까지 연결했습니다.
핵심 내용
- 커머스 시계열 지표의 급등·급락을 사람의 육안 확인 대신 자동 감지하기 위한 Change Point Detection(CPD) 도입 사례
- ARIMA 기반 이상치 탐지는 특정 포인트 탐지와 사전 튜닝 부담 때문에 제외, 오프라인 CPD는 과거 분석에 그쳐 제외
- 온라인 CPD와 non-stationary 시계열용 SDAR, 이동평균 기반 점수 결합으로 실시간 변화 감지와 범용성 확보
구조와 흐름
- User Event Log에서 조닝 데이터와 CTR을 단계적으로 적재하는 ETL 파이프라인 구성
- Airflow DAG로 Glue Job 실행, 데이터 유무 확인, 조닝별 분기, moving average score 계산, Slack 알림 전송 연결
- 모델 적용 대상 조닝을 파라미터로 전달해 다른 조닝에도 빠르게 확장 가능한 구조 설계
적용해볼 점
- 급격한 성능 변화 감지가 필요한 시계열 지표에 CPD를 우선 검토
- 비정상성 데이터와 다양한 지표를 다룰 때 추가 분석 부담이 적은 온라인 방식 고려
- 알림 품질을 위해 임계치와 민감도는 서비스 특성에 맞게 조정