백엔드
검색 Indexing 파이프라인 개선기
두줄요약
검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.
문제 상황
- 서비스별로 분산된 색인 로직으로 인한 관리 포인트 증가
- 외부 서비스 DB 직접 의존에 따른 장애 위험과 유지 비용 증가
- 하루 1회 Full Scan 기반 Offline 색인으로 인한 비용 부담
- 색인 로직과 필터링 규칙의 코드 추적 어려움으로 인한 가시성 저하
해결 방법
- YAML 기반 설정 인터페이스와 코드 생성으로 색인 동작, 스키마, 배포 구성을 표준화
- Transform 단계에 커스텀 변환 로직을 두어 입력 데이터를 유연하게 처리
- BigQuery Offline Storage와 Backfill, 상태 변경 메시지, CDC Streaming으로 안전한 적재 구조 구성
- 파티셔닝된 임시 테이블과 분산 Processor로 Offline 색인 성능 개선
성능/운영 포인트
- TimeWindow 기반 Streaming Batch 처리로 초당 수천 건 이상의 이벤트도 안정적으로 처리
- 1.5core pod 8대로 초당 수만 건 이벤트 처리 가능
- 수억 건 색인을 1~2시간, 1~2만 원 수준으로 처리