데브옵스
Vector를 활용해 멀티 CDN 로그 및 트래픽 관리하기
두줄요약
Vector를 활용해 멀티 CDN 로그와 트래픽 모니터링 체계를 통합한 사례를 다뤘습니다. 로그 정규화, 메트릭 변환, 버퍼링과 모니터링까지 쿠버네티스 기반으로 고도화했습니다.
문제 상황
- 멀티 CDN 환경에서 데이터 소스와 대시보드가 분산돼 관리 포인트가 증가
- 직접 개발한 익스포터는 CDN 포맷 변경이나 커스텀 필드 추가 시 유지보수 부담이 큼
- 일부 CDN 로그는 실시간 수집이 어려워 모니터링 체계 통합이 필요
해결 방법
- Vector의
log_to_metric으로 익스포터를 대체하고 로그를 메트릭으로 변환 remap으로 로그 정규화 후 Prometheus와 Kafka로 각각 메트릭과 로그 전송- 쿠버네티스 Helm 차트와 StatefulSet, HPA, 버퍼링 모델로 운영 안정성 보완
성능/운영 포인트
- Sink 처리량 초과 시 버퍼링 모델로 로그 소실 방지
- internal_metrics, node_exporter, kube-state-metrics로 클러스터와 Vector 상태 모니터링
- podAntiAffinity와 topologySpreadConstraints로 파드 분산 배치