백엔드
Kafka Connect로 DB 데이터 쉽게 연동하기
두줄요약
Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.
핵심 내용
- Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 별도 코딩 없이 Kafka로 연동하는 방법 소개
- 소스 커넥터, 싱크 커넥터, 워커, 태스크, Transform, Converter의 역할과 동작 구조 정리
- JDBC 소스 커넥터의 증분 쿼리 모드와 CDC 방식 비교를 통해 쿼리 기반 연동의 장단점 설명
- 삭제, 갱신, 순서 역전으로 인한 데이터 누락 사례와 timestamp.delay.interval.ms로 보완하는 방법 제시
적용해볼 점
- 최신 상태만 필요한 로그성 테이블에 JDBC 소스 커넥터 적용 검토
- PK, timestamp, 트랜잭션 지연 특성을 고려한 쿼리 모드와 옵션 설계
- 누락 가능성과 적재 지연의 균형을 맞춘 파라미터 튜닝