Mecab과 Nori, Fastcat 플러그인 색인 성능 비교
백엔드
Mecab과 Nori, Fastcat 플러그인 색인 성능 비교
두줄요약
Elasticsearch 한국어 분석기 Mecab-Ko, Nori, Fastcat의 색인 성능을 비교했습니다. 사전 수를 줄이면 색인 시간이 줄어들고, Nori는 상대적으로 느렸습니다.
핵심 내용
- Elasticsearch 한국어 분석기 Mecab-Ko, Nori, Fastcat의 색인 성능 비교
- Fastcat 기반 상품명 분석기와 오픈소스/공식 플러그인 간 유지보수성 관점의 재검토
- Mecab-Ko와 Fastcat의 색인 성능 유사, Nori는 상대적으로 느린 결과
성능/운영 포인트
- 분석기별 300만건, 700만건 문서 인덱스로 벤치마크 수행
- 색인 속도 향상을 위한 별도 옵션 없이 기본 성능 비교
- 사전 크기 축소 시 색인 소요 시간 감소
적용해볼 점
- 상품 검색 중심 환경에서는 불필요한 품사 사전 제거 검토
- 사전 최소화로 색인 성능 개선 가능성 확인
- 기존 분석기 코드의 리팩토링과 유지보수 개선 검토