백엔드
카프카 커넥트와 오프셋 관리(1)
두줄요약
카프카 커넥트의 개념과 동작 방식을 소개하고, JDBC와 HDFS 커넥터로 파이프라인을 구성하는 흐름을 설명했습니다. 3.5 버전의 오프셋 관리 기능은 다음 글에서 이어서 다룬다고 예고했습니다.
핵심 내용
- 카프카 커넥트의 개념과 카프카-외부 시스템 간 데이터 전송 역할 소개
- 소스 커넥터, 싱크 커넥터, 커넥터·태스크·워커·컨버터·트랜스폼 등 기본 용어 정리
- JDBC 커넥터와 HDFS 커넥터 예시를 통한 REST API 기반 파이프라인 구성 방식 설명
- 3.5 버전부터 추가된 오프셋 관리 기능은 다음 글에서 다룰 예정