백엔드
ElasticSearch 비용, 성능 최적화 — 1편
두줄요약
ElasticSearch 운영 로그 인덱스가 방치되며 비용과 성능 문제가 커진 사례를 정리했습니다. ILM, SLM, 인덱스 분리로 연간 약 2,000만 원을 절감했습니다.
문제 상황
- Elastic Cloud 기반 ElasticSearch 비용이 AWS 인프라 비용에 맞먹는 수준으로 증가
- 운영 로그 인덱스가 관리되지 않아 필드 매핑 한도 초과, 로그 저장 누락, 조회 레이턴시 문제 발생
- 검색·추천 쿼리 로직까지 같은 인덱스를 사용해 비용과 성능 이슈가 함께 누적
원인 분석
- 로그성 데이터가 무분별하게 적재되고 인덱스 생명주기 관리 부재
- Dynamic Mapping과 규격화되지 않은 매핑으로 인덱스 스키마가 비대해짐
- 단일 인덱스에 수집·조회·추천 용도가 섞이며 용량과 성능 최적화가 어려움
해결 방법
- 최근 6개월 로그만 남기고 불필요한 인덱스 삭제, 노드 스케일 축소로 급한 비용 절감
- ILM 도입으로 rollover, 보관 기간, HOT/WARM/COLD 이동, 자동 삭제를 체계화
- SLM과 AWS S3 스냅샷으로 과거 로그 복원 가능성을 확보하고, 추천 쿼리 인덱스는 분리하여 정적 매핑과 Data Stream 적용