NRTI (Near Real-Time Indexing)

문제 상황

• Elasticsearch 기반 검색서비스에서 DB 데이터를 색인하고 안전하게 서빙하는 과정의 개선 필요
• 기존 전체색인과 증분색인 방식의 지연, 누락, 단일 인스턴스 불안정, DB 부하, 운영 이슈 누적

원인 분석

• 전체색인과 증분색인의 분리 처리로 인한 데이터 누락과 늦은 반영
• 단일 애플리케이션·단일 인스턴스 구조로 인한 확장성과 안전성 한계
• 조인 많은 주기적 쿼리, DynamoDB 비용, SQS 잔존 메시지, Elasticsearch 운영 복잡도

해결 방법

• Kafka와 Debezium CDC로 상품 변경 이벤트를 Topic으로 발행하고 Consumer로 색인 처리
• Partition과 Consumer Group을 1:1로 맞춰 정합성과 처리 효율 확보
• ECK로 Elasticsearch 운영, 모니터링, Snapshot 백업·복구 강화

성능/운영 포인트

• 전체색인 처리시간과 증분색인 지연을 크게 단축
• 활성/비활성/삭제 포함 전체 상품 색인으로 데이터 범위 확대
• 장애 시 Snapshot 기반 빠른 복구와 안정적 운영 구조 확보

적용해볼 점

• 이벤트 기반 색인 구조로 전환해 검색 반영 지연을 줄이는 접근
• Kafka Consumer Group 설계를 통해 파티션과 처리량 균형 점검
• 검색엔진 운영에는 백업·모니터링·버전 관리까지 함께 고려