목록 보기
지금 매출 얼마인가요?
백엔드

지금 매출 얼마인가요?

데브시스터즈
데브시스터즈
2024년 11월 18일

두줄요약

데브시스터즈가 게임 런칭 상황에 맞는 준실시간 지표 서비스를 도입한 과정을 소개했습니다. Kafka, Spark Streaming, Kibana를 활용해 정확도와 비용, 운영성을 함께 맞추려는 시도를 설명했습니다.

문제 상황

  • 게임 런칭 직후 국가별·스토어별·OS별 핵심 지표를 빠르게 확인해야 하는데, 기존 시간별 배치와 ELK 기반 대시보드만으로는 지연과 정확도 한계가 존재
  • 준실시간 대시보드는 트래픽 급증 시 비용과 운영 부담이 커지고, 환율·메타 정보 반영도 어려워 실무 의사결정에 제약

원인 분석

  • 기존 동접 지표는 서버 세션 기반이라 세부 차원 분석이 불가
  • 배치 지표는 집계 지연이 길고, Kibana 로그 집계는 대규모 운영 환경에서 부하와 비용 문제 발생
  • 스트리밍 조인과 집계에는 watermark, state 관리, 파티션 편향 같은 기술적 난점 존재

해결 방법

  • Kafka 스트리밍 기반 ETL로 준실시간 지표 파이프라인 구성
  • 클라이언트 하트비트 로그를 별도 topic으로 분리하고, 서버·클라이언트 로그를 stream-stream JOIN으로 결합
  • KSQL, DLT, Spark Streaming을 검토한 뒤 비용과 운영 유연성이 높은 Spark Streaming 직접 운영 방식 선택
  • 시각화는 Auto Refresh와 시계열 표현이 가능한 Kibana를 활용

댓글 0

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...