데브옵스
전국 3,500대 POS 실시간 모니터링 구축기
두줄요약
Datadog을 POS 환경에 적용해 전국 3,500대 장비의 로그와 장애를 실시간으로 모니터링하도록 구축했습니다. 장애 탐지 시간은 4분 30초에서 59초로 줄어들고, 사전 대응 체계도 마련했습니다.
문제 상황
- 전국 1,370개 매장 3,500여 대 POS/SCO가 폐쇄망과 불안정한 네트워크 환경에 분산
- 기존에는 장애가 매장 제보 이후에야 인지되어 평균 5분 이상 개별 장비 분석 필요
- 장비 전원 종료나 로그 삭제 시 원인 확인 자체가 어려운 운영 한계
원인 분석
- 서버 기반 모니터링을 오프라인 매장 장비에 그대로 적용하기 어려운 네트워크 구조
- 비표준 텍스트 로그로는 집계·분석이 비효율적이고 노이즈도 많음
- 수작업 설치와 중앙 감시 부재로 대규모 장비군의 실시간 대응 불가
해결 방법
- Datadog Agent를 POS에 설치하고 프록시 서버를 통해 Public 클라우드 Datadog으로 로그 전송
- 로그를 JSON 기반으로 표준화하고 사용자 이벤트·오류 중심으로 선별 수집
- 원격 관리 솔루션의 스크립트 실행으로 설치·설정 배포를 자동화하고 매장별 Host 식별 체계 정립
- Datadog 알람을 Slack과 연동해 오류 발생부터 복구까지 실시간 추적 체계 구성