백엔드
삼성계정 서비스, 대규모 트래픽 속 Amazon MSK 를 이용한 무 중단 Database 스키마 전환
두줄요약
삼성 계정 서비스에서 대규모 트래픽을 유지한 채 개인정보 컬럼 암호화와 DB 스키마 전환을 수행한 사례를 소개했습니다. AWS MSK, Debezium, DNS 가중치 전환으로 무중단 마이그레이션과 롤백 대비를 구현했습니다.
문제 상황
- 18억 사용자 규모 삼성 계정의 24/7 대규모 트래픽 환경에서 개인정보 컬럼 암호화와 DB 스키마 전환을 서비스 영향 없이 수행해야 하는 상황
- 운영 DB 직접 작업은 I/O 부하와 복구 난이도가 커서 별도 마이그레이션 경로가 필요
- 배치 방식은 권역당 한 달 이상 소요될 수준으로 대용량 실시간 마이그레이션에 부적합
해결 방법
- 운영 DB를 복제한 뒤 오프라인 복제 DB에서 암호화 마이그레이션을 진행하고, 준비된 migration service로 DNS 가중치 전환
- AWS MSK 기반 Kafka 파이프라인과 Debezium CDC/Snapshot, JDBC sink connector로 실시간 데이터까지 처리
- 암호화 결과와 해시 값을 스키마에 맞게 재가공해 저장하고, 롤백 대비 역방향 복호화 파이프라인으로 양방향 동기화 구성
주의할 점
- 암호화 결과가 매번 달라질 수 있어 인덱스 키로 쓰이는 값은 별도 해시 처리 필요
- 트래픽 전환 시 데이터 유실 방지를 위해 양쪽 DB의 실시간 동기화가 필수