데브옵스
QA가 서버를 죽여본 이유 – Host Level 카오스 엔지니어링 테스트
두줄요약
Host Level 카오스 엔지니어링으로 인프라 장애를 직접 재현하고 QA 관점에서 고객 경험과 데이터 정합성을 검증했습니다. 이를 통해 알림 체계, 자동 복구, 정기 테스트 프로세스를 강화했습니다.
핵심 내용
- Host Level 카오스 엔지니어링 테스트로 서버, DB, 캐시, 메시지 큐 같은 인프라 장애 상황을 의도적으로 재현
- QA가 고객·관리자 시나리오 관점에서 장애 중 동작, 복구 후 데이터 정합성, 자동/수동 복구 여부를 검증
- 테스트 결과 9개 주요 버그와 운영 개선 과제를 발견하고, 알림 체계·자동 복구·정합성 검증 API·정기 테스트 프로세스를 정착
- MSA 전환 사례에서 로그상 정상이어도 화면이 무너지는 문제를 찾아내며, 고객 경험 기준의 장애 검증 필요성을 강조
적용해볼 점
- 장애 감지와 복구 기준을 메트릭이 아닌 고객 체감 기준으로 재정의
- 복구 후 자동 반영 여부와 데이터 유실 여부를 별도 검증 항목으로 포함
- Failover, 서킷브레이커, 정기 카오스 테스트를 운영 프로세스에 편입