데브옵스
혼자서도 잘해요, 검색 시스템 구축과 운영
두줄요약
외부 검색 솔루션의 한계를 해결하기 위해 AWS 기반 검색 파이프라인을 내부 구축했습니다. 30분이던 증분색인 주기를 1분 이내로 줄이고 운영 부담도 낮췄습니다.
문제 상황
- 외부 SaaS 검색 솔루션의 전시 정책 반영 지연과 확장성 한계
- 하루 1회 전체색인, 30분 단위 증분색인의 느린 반영 주기
- 여러 서비스 검색을 최소 인력으로 운영해야 하는 상황
해결 방법
- AWS Airflow와 Glue 기반 검색 데이터 파이프라인 내부 구축
- RDS → Spark 추출/변환 → S3 적재 → OpenSearch 벌크 인덱싱 구조 설계
- SNS, SQS, Lambda로 증분색인 이벤트 처리와 near realtime 주기 단축
성능/운영 포인트
- 파티션 설정과 repartition으로 대용량 데이터 병렬 처리 최적화
- 자동화, 로그/이력 관리, 스크립트 수정 용이성으로 운영 부담 절감
- 문제 단계만 재실행 가능한 분리된 파이프라인 구조