백엔드
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
두줄요약
이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.
핵심 내용
- 이력성 데이터가 커지면서 MySQL 저장 비용과 조회 부담이 커진 상황
- 더 저렴한 저장소인 S3로 데이터를 이관하고 Athena로 조회하는 방향
- Spark bucketing을 활용해 서비스 호출 시 필요한 데이터만 읽도록 최적화