AWS MSK Connect 효과적으로 운영하기
AWS MSK Connect와 Kafka 기반 CDC 운영 전략을 정리한 글입니다. 장애 대응, 데이터 경량화, DLQ, 모니터링 설정까지 실무 운영 포인트를 소개했습니다.
#AWS#Kafka
27005분
필터 1
누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)
Debezium connector 재시작 때 오래된 binlog를 다시 읽으며 DB CPU가 급등한 원인을 분석했습니다. heartbeat.interval.ms를 적용해 상태 기록 주기를 보강하고 문제를 해결했습니다.
#debezium#CDC
11005분
NRTI (Near Real-Time Indexing)
Elasticsearch 색인 구조를 Kafka와 Debezium 기반 이벤트 처리로 전환한 사례를 소개했습니다. ECK를 함께 적용해 색인 속도와 운영 안정성을 함께 높였습니다.
#Elasticsearch#Kafka
20005분
MRT Public Data Service 개발 — 2
CDC 데이터를 Kafka Streams로 가공해 Druid에 색인하고 API로 제공하는 PDS 구조를 소개했습니다. 실시간 집계와 운영 모니터링을 함께 설계한 사례를 다뤘습니다.
#Kafka Streams#Druid
8005분