고객은 절대 기다려주지 않는다: 빠른 데이터 서빙으로 고객 만족도를 수직 상승 시키는 법

문제 상황

• 거래량 급증으로 수십억 건 규모 데이터를 안정적으로 빠르게 서빙해야 하는 과제
• MSA 전환 이후 검색, 집계, 실시간 조회, 다중 도메인 결합 요구가 함께 증가
• 원장 테이블 직접 조회 시 대량 스캔, 성능 저하, 쿼리 복잡도 증가

구조와 흐름

• 검색 요구는 Elasticsearch 색인으로 처리
• 시계열 집계와 저지연 조회는 Apache Druid로 분리
• 조인과 통합 원장은 StarRocks로 재구성
• 각 엔진의 강점을 조합한 하이브리드 데이터 서빙 구조

해결 방법

• Druid에서 메시지 발행 기반 적재와 Rollup으로 조회 성능 개선
• 파편화 탐지와 Compaction, Zookeeper 로그 보존 주기 조정으로 운영 안정성 보강
• StarRocks 도입 후 Colocation Group과 Prefix Index로 조인 성능과 스캔 범위 최적화

성능/운영 포인트

• Druid Rollup 적용으로 평균 응답 시간 수십 초에서 0.5~1초 수준으로 단축
• 로컬 스토리지와 S3 분리로 비용 절감과 AZ 분산 유연성 확보
• Prefix Index 적용으로 RawRowsRead 약 99.68% 감소
• StarRocks 최적화 후 CPU 사용률 약 81.2% 감소