데브옵스
MinIO 도입기— HA 이해 및 DR 전략 구성
두줄요약
MinIO를 아카이빙 스토리지로 도입하며 HA와 Failover 동작을 검증하고, 장애 레벨별 대응 기준을 정리했습니다. 또한 HDFS distcp와 Airflow로 Backup & Restore 체계를 구성해 DR 전략을 마련했습니다.
문제 상황
- ML 학습·서빙에 필요한 중요 데이터가 Cephfs 사용 과다로 장애를 유발한 상태
- 데이터 유실을 허용할 수 없어 아카이빙 스토리지 선정, HA 이해, DR 대비가 필요한 상황
구조와 흐름
- 중요 데이터를 학습/서빙/CI-CD 성격별로 정의하고 공통 Object Storage로 MinIO 선택
- 드라이브·노드·IDC 장애 레벨을 나눠 HA, Failover, 백업 복구 전략을 검증
- Erasure Coding 기반 복원과 서버/드라이브 장애 테스트로 읽기·쓰기 가능 범위 확인
- HDFS distcp와 Airflow DAG로 MinIO-HDFS 간 Backup & Restore 체계 구성
성능/운영 포인트
- 서비스 영향도에 따라 버킷 우선순위와 RTO/RPO를 다르게 설정
- Scale Up은 순단 없이 가능했으나, Scale Out은 재배포 동안 약 10분 순단 발생
- 1TB 복사에 약 3시간 소요, 초기 대용량 백업은 장시간 필요
주의할 점
- MinIO의 Failover만으로 복구되지 않는 수준의 장애는 전체 재배포 후 백업 복구 필요
- 대시보드 접속도 write 작업을 유발해 다중 장애 시 접근 불가 가능성 존재
- 볼륨 백업보다 원본 데이터 백업이 복구 안정성 측면에서 유리