백엔드
HBase 복제를 이용해 마이그레이션하기
두줄요약
HBase 복제를 이용해 대용량 데이터 마이그레이션과 HA 구축 과정을 정리했습니다. 스냅숏, 복제 검증, Kerberos 설정과 운영 시 주의점을 함께 다뤘습니다.
문제 상황
- HBase 기반 Anzen 서비스의 데이터 마이그레이션과 HA 구축 필요
- 장애 시 데이터 유실 방지와 서비스 지속성 확보, Cloudera 라이선스 비용 절감 과제
구조와 흐름
- WAL, WALEdit, MemStore를 중심으로 한 HBase 쓰기 경로와 복제 동작 설명
- Master-Slave, Master-Master, Cyclic 복제 토폴로지의 차이와 중복 복제 방지 방식 정리
선택 이유
- 롤백 상황에서도 쓰기 요청 유실을 막기 위한 Master-Master 구성
- 액티브/스탠바이의 서로 다른 TTL과 HDFS 용량 운영을 위한 Cyclic 혼합 구성
성능/운영 포인트
- 복제 지연은 Replication Lag로 확인 가능
- Snapshot과 VerifyReplication 사용 시 디스크 사용량, HFileCleaner 충돌, 네트워크 병목 주의
적용해볼 점
- 테이블 크기와 복제 팩터를 기준으로 타깃 클러스터 용량 사전 산정
- reverse DNS, krb5.conf, auth_to_local, Cross-Realm 인증 사전 점검