네이버 검색 SRE - 상위 레벨 모니터링 시스템

문제 상황

• 검색, 쇼핑, 플레이스 등 대규모 서비스가 얽힌 환경에서 전체 건강도를 빠르게 파악할 상위 레벨 모니터링 필요
• 기존 하위 레벨 모니터링은 개별 서버·레이어 확인에는 유용했지만, 정보 체계 분산과 대시보드 탐색 비용이 큼
• 서비스 수와 담당자가 늘면서 장애 관제와 커뮤니케이션 효율 저하

구조와 흐름

• 서비스별 고유 ID 발급, 표준 서비스 구조 가시화, 담당자 매핑으로 정보 체계 일원화
• 통합 대시보드에서 전체 서비스와 레이어별 트래픽, 가용량, 영향도를 한눈에 확인
• ChatOps 연동으로 경보 발송과 대응 현황 공유

선택 이유

• 단일 서버 수준이 아닌 서비스 전체 관점의 통합 관제가 복잡한 검색 시스템에 적합
• 공통 대시보드와 공통 기준으로 담당자 협업 비용 절감
• 단순한 규칙 기반 이상 탐지로 빠른 장애 인지와 대응 가능

성능/운영 포인트

• 최대가용배수와 부하증가배수로 가용량 위험 상황 판단
• 5주 중앙값 기반 트래픽 패턴 분석으로 이상 탐지 규칙 구성
• 알림 규칙, 담당자 정보, PIR 문화를 지속적으로 갱신하며 운영 안정성 유지