데브시스터즈의 장애 대응 원칙과 방법
데브옵스
데브시스터즈의 장애 대응 원칙과 방법
두줄요약
장애 대응의 목표를 서비스 정상화에 두고, 에스컬레이션과 기록, 종료 공유, 포스트모템까지의 절차를 체계화했습니다. FRT 기준 티어링과 역할 분담, 커뮤니케이션 중심 대응 원칙도 함께 제시했습니다.
핵심 내용
- 장애 대응의 최우선 목표를 서비스 정상화로 두고, 원인 규명보다 신속한 복구와 기민한 의사결정 강조
- 장애 인지, 에스컬레이션, 기록, 종료 공유, 포스트모템까지의 전 과정을 표준화하고 역할을 명확히 분리
- FRT 기준으로 Tier 0~2 알람을 분류해 우선순위와 대응 시점을 체계화
- 멱등성 없는 시스템 변경을 고려해 커뮤니케이션을 동반한 공동 대응과 사후 회고를 필수로 운영
적용해볼 점
- 알람이 울린 채널만 보고도 대응 필요성을 직관적으로 파악할 수 있도록 티어링과 알림 설정 정비
- 지휘자, 기록가를 포함한 최소 2인 대응 체계와 종료 후 포스트모템 템플릿 운영
- 장애 발생과 종료, 조치 내역을 실시간 기록하고 비난 없는 회고로 재발 방지