백엔드
핑크퐁의 통합 데이터 환경 구축기 (feat. Snowflake)
두줄요약
데이터 소스가 분산된 환경에서 Snowflake 중심의 통합 데이터 플랫폼을 구축한 사례입니다.\n로그 수집부터 분석까지 파이프라인을 단순화하고 운영 효율을 높였습니다.
문제 상황
- 유튜브, 앱 로그, 광고 플랫폼, 외부 리포트 등 데이터 소스가 분산된 Data Silo 구조
- 수동 추출과 서로 다른 DB·대시보드 의존으로 인한 운영 복잡성 증가
- 데이터 중복, 동기화 시점 차이, 대규모 통합 분석의 어려움
원인 분석
- 서비스별 데이터 관리와 운영 분리로 인한 일관성 저하
- Elasticsearch/Kibana의 집계 한계, 정확한 distinct count 계산의 어려움
- BigQuery의 적재 제약, 파티션 한도, AWS·GCP 간 추가 연동 부담
해결 방법
- 앱 로그 파이프라인을 MongoDB 단일 서버에서 AWS Kinesis 기반 클라우드 구조로 전환
- 리시버 서버와 Firehose, Lambda, S3를 연결해 수집·전처리·적재 흐름 구성
- Snowflake를 단일 데이터 웨어하우스로 채택해 통합 분석 환경 구축
성능/운영 포인트
- Managed Service 활용으로 클러스터 관리와 패치 부담 축소
- ECS Auto Scaling과 shard 확장으로 트래픽 변동 대응
- Snowsight를 통한 쿼리 비용 확인과 권한 관리, warehouse 분리로 운영 효율화