AI
AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
두줄요약
Azar의 실시간 추천 시스템을 위해 Flink KeyedProcessFunction 기반 스트림 조인과 배포 전략을 구축한 사례를 소개했습니다. Savepoint, Blue-Green 배포, Redis 중복 제거로 무중단과 Exactly Once를 구현했습니다.
핵심 내용
- Azar의 AI 실시간 매칭 시스템을 위해 Flink 기반 스트림 조인 서비스를 구축한 경험 공유
- 서로 다른 시점의 유저 이벤트를 조합해 추천에 활용하고, 최소 지연·Exactly Once·무중단 배포를 만족하는 구조 설계
- Window API 대신 KeyedProcessFunction과 TimerService를 선택해 세밀한 시간 제어와 상태 기반 조합 로직 구현
- Savepoint, Blue-Green 배포, Redis 중복 제거를 통해 배포 중단과 중복 발행 문제를 해결
적용해볼 점
- 이벤트 누락·부분 발행·전체 발행을 구분하는 상태 기반 조합 로직 설계
- 타이머 연장과 heartbeat 이벤트로 조합 성공률 개선
- 저장소와 배포 전략을 함께 고려해 실시간 파이프라인의 안정성과 지연 시간 최적화