백엔드
카프카 커넥트와 오프셋 관리(2)
두줄요약
카프카 커넥트의 내부 오프셋 관리 방식과 REST API 기반 조작 방법을 설명했습니다. 예제로 오프셋을 되돌려 레코드를 다시 처리하는 과정을 보여주었습니다.
핵심 내용
- 카프카 커넥트 분산 모드의 내부 토픽과 싱크 커넥터 오프셋 관리 개념 정리
- 카프카 3.5 버전부터 추가된 REST API로 커넥터 중지, 오프셋 조회, 오프셋 변경, 재개 수행
- FileStreamSinkConnector 예제로 오프셋을 17에서 10으로 되돌린 뒤 레코드 재처리 확인
적용해볼 점
- 손상된 데이터 재처리나 특정 지점부터의 재동기화에 오프셋 조정 활용
- 운영 중 커넥터 상태 점검과 복구 절차를 REST API로 유연하게 대응