데브옵스
AWS MSK Connect 효과적으로 운영하기
두줄요약
AWS MSK Connect와 Kafka 기반 CDC 운영 전략을 정리한 글입니다. 장애 대응, 데이터 경량화, DLQ, 모니터링 설정까지 실무 운영 포인트를 소개했습니다.
핵심 내용
- AWS MSK와 MSK Connect를 활용한 오프라인 발주·물류 시스템의 비동기 통신 및 CDC 도입 배경
- MSK의 멀티 AZ, replication factor, partition 구조를 통한 장애 대응과 데이터 일관성 확보
- Avro, AWS Glue Schema Registry, DLQ, 수동 Ack, read_committed 설정을 통한 저장 용량 절감과 메시지 처리 안정화
- CloudWatch와 DataDog, Prometheus Exporter 연계를 통한 운영 모니터링 지표 관리