백엔드
대규모 Redis를 운영하며 살아남기
두줄요약
대규모 Redis 운영에서 HA 구성을 유지하고 오토 힐링으로 점검 대응을 자동화한 사례를 정리했습니다. 미사용·저사용 리소스를 식별해 축소하고, 가이드와 대시보드로 운영 효율도 높였습니다.
문제 상황
- 전사 서비스 확장으로 Redis 규모가 급격히 증가해 운영 자원과 장애 대응 부담이 커진 상황
- 하드웨어 점검, 서비스 아웃, 남은 단일 노드 상태 같은 HA 리스크를 수작업으로 감당해야 하는 문제
- 클라우드 리소스가 한계에 가까워지며 미사용·저사용 Redis 정리가 필요한 상황
해결 방법
- 기본적으로 1 Primary - 1 Replica 구조를 유지해 장애 시 승격으로 서비스를 이어갈 수 있도록 구성
- 클라우드 환경에서는 오토 힐링을 도입해 점검 시 새 서버를 발급받아 교체하는 방식으로 자동화
- 명령어 발행 횟수와 시스템 사용량을 후가공해 저사용 판단 기준을 만들고, 스케일 인·스케일 다운과 반납 캠페인으로 리소스를 회수
성능/운영 포인트
- Replica를 최소화해 비용과 충돌 가능성을 줄이고 운영 복잡도를 낮춤
- 클라이언트 설정 가이드와 토폴로지 옵션 정비로 축소 작업 중 서비스 중단 위험을 낮춤
- 사용자 대시보드와 관리자 대시보드를 마련해 참여 유도와 추적 관리를 강화