Karrot’s Journey to CDC with MongoDB
백엔드
Karrot’s Journey to CDC with MongoDB
두줄요약
Karrot가 MongoDB 적재 방식의 한계를 해결하기 위해 CDC를 도입한 과정을 공유했습니다. 변경 로그 기반으로 BigQuery 적재를 구성하되, 초기 스냅샷은 별도 도구 활용을 검토했습니다.
핵심 내용
- Karrot의 MongoDB 데이터 적재 방식이 데이터 증가와 2시간 SLO, 소스 DB 부하 최소화 요구를 동시에 만족하지 못해 CDC 도입을 검토
- 변경 로그 기반의 CDC로 초기 스냅샷 이후 변경분을 수집해 BigQuery로 적재하는 구조를 구성
- Flink CDC를 후보로 검토했으나, 초기 스냅샷 성능 문제로 스냅샷 구간은 Spark를 활용하는 방향을 검토