지금 매출 얼마인가요?
백엔드
지금 매출 얼마인가요?
두줄요약
데브시스터즈가 게임 런칭 상황에 맞는 준실시간 지표 서비스를 도입한 과정을 소개했습니다. Kafka, Spark Streaming, Kibana를 활용해 정확도와 비용, 운영성을 함께 맞추려는 시도를 설명했습니다.
문제 상황
- 게임 런칭 직후 국가별·스토어별·OS별 핵심 지표를 빠르게 확인해야 하는데, 기존 시간별 배치와 ELK 기반 대시보드만으로는 지연과 정확도 한계가 존재
- 준실시간 대시보드는 트래픽 급증 시 비용과 운영 부담이 커지고, 환율·메타 정보 반영도 어려워 실무 의사결정에 제약
원인 분석
- 기존 동접 지표는 서버 세션 기반이라 세부 차원 분석이 불가
- 배치 지표는 집계 지연이 길고, Kibana 로그 집계는 대규모 운영 환경에서 부하와 비용 문제 발생
- 스트리밍 조인과 집계에는 watermark, state 관리, 파티션 편향 같은 기술적 난점 존재
해결 방법
- Kafka 스트리밍 기반 ETL로 준실시간 지표 파이프라인 구성
- 클라이언트 하트비트 로그를 별도 topic으로 분리하고, 서버·클라이언트 로그를 stream-stream JOIN으로 결합
- KSQL, DLT, Spark Streaming을 검토한 뒤 비용과 운영 유연성이 높은 Spark Streaming 직접 운영 방식 선택
- 시각화는 Auto Refresh와 시계열 표현이 가능한 Kibana를 활용
