데브옵스
99.999%를 향한 집착: 멀티 & 하이브리드 클러스터로 살아남기
두줄요약
멀티 클러스터와 하이브리드 클러스터로 고가용성 인프라를 설계한 경험을 공유했습니다. GSLB, NodeLocal DNSCache, 분산 Control Plane로 장애 대응과 운영 유연성을 높였습니다.
문제 상황
- 증권 서비스에서 99.999%에 가까운 가용성 확보가 필요한 상황
- 단일 Kubernetes 클러스터 운영의 장애 전파 위험과 플랫폼 종속성
- stateful 서비스와 대고객 서비스에서 서로 다른 라우팅 제약과 운영 복잡도
해결 방법
- AWS EKS, IDC Kubernetes, KC KE에 서비스를 멀티 클러스터로 병렬 배포
- GSLB와 NodeLocal DNSCache rewrite로 트래픽 분산, 클러스터 내 우선 통신, 긴급 전환 구성
- stateful 서비스는 여러 플랫폼 노드를 하나의 논리 클러스터로 묶는 하이브리드 클러스터로 운영
성능/운영 포인트
- 멀티 클러스터는 플랫폼 단위 장애 시 자동 우회와 트래픽 비율 조정에 유리
- 하이브리드 클러스터는 워커/마스터 노드 분산으로 플랫폼 장애에도 Control Plane 유지 가능
- etcd/네트워크 지연과 노드 수에 따른 읽기·쓰기 성능 차이를 고려한 마스터 구성 필요
적용해볼 점
- 서비스 성격에 따라 멀티 클러스터와 하이브리드 클러스터를 구분해 적용
- 외부 트래픽, 내부 통신, 장애 전환을 분리해 라우팅 정책 설계
- 데이터 계층과 지연 민감 워크로드의 동일 플랫폼 배치 검토
