실시간 마케팅을 위한 PoC 개발기
백엔드
실시간 마케팅을 위한 PoC 개발기
두줄요약
실시간 마케팅을 위해 SNS-Lambda-Kinesis-Flink-DB 파이프라인 PoC를 진행했습니다. 12k RPS 목표를 기준으로 병목을 찾아 SQS 추가와 Flink 최적화로 개선했습니다.
핵심 내용
- 실시간 마케팅 요구에 맞춰 Segmentum의 고객 속성 데이터를 일 단위 갱신에서 실시간 갱신으로 전환하기 위한 PoC 진행
- SNS-Lambda-Kinesis-Flink-DB 흐름의 파이프라인을 구성하고, 12k RPS를 5초 이내 E2E Latency로 처리하는 목표 설정
- Terragrunt와 Drone CI로 AWS 인프라를 코드화하고, EMR 기반 Flink 실행환경과 세이브포인트·체크포인트 재시작 흐름 구성
- 부하 테스트에서 Lambda-Kinesis 구간과 ES 조회 구간 병목을 발견해 SQS 추가, msearch 적용, 병렬성 확대 등으로 개선
적용해볼 점
- 실시간 처리 목표는 인프라 구성과 애플리케이션 병목을 함께 검증하는 방식이 효과적
- Lambda, Kinesis, Flink, ES 구간별 병목을 관측하고 호출 단위와 병렬성을 조정하는 최적화가 필요