데브옵스
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
두줄요약
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
구조와 흐름
- Active-Active Kafka 이중화에서 동일한 토픽명으로 양방향 미러링을 구현한 사례
- MirrorMaker2의 토픽명 접두사 방식 한계로 자체 Sink Connector 기반 도구를 설계
- 메시지 헤더의 Source DC 정보로 미러링 여부를 구분해 무한 루프 방지
해결 방법
- 원천 메시지와 미러링 메시지를 헤더로 구분해 재전송 차단
- DLQ로 실패 메시지와 메타정보를 분리 저장해 정합성 보장
- 커스텀 메트릭 리포터로 Kafka 전송 후 ClickHouse에 적재해 장기 모니터링
성능/운영 포인트
- 대규모 Connector 잡을 단일 클러스터에서 N개 클러스터로 분리해 운영 부담 완화
- 토픽별 Connector 단위 운영으로 세밀한 모니터링과 성능 독립성 확보
- 지연 시간, 인입량 트렌드 기반으로 이상징후 사전 탐지