백엔드
요기요 검색에서 형태소 분석기의 한계와 극복
두줄요약
요기요 검색에서 형태소 분석기의 한계를 사례로 설명하고, N-gram을 보완적으로 도입한 개선 방식을 소개했습니다. 그 결과 검색 미노출 CS를 줄이며 플랫폼에 맞는 Analyzer 설계의 중요성을 강조했습니다.
핵심 내용
- 요기요 검색에서 mecab-ko 형태소 분석기가 가게명 검색에 부적합한 이유 정리
- 문법 특화, 서로소 분할, 사전 의존성 때문에 고유명사·신조어·중의적 키워드에서 오분석 발생
- 형태소 분석기 단독 대신 N-gram을 보완적으로 도입해 색인과 쿼리 매칭 문제 개선
적용해볼 점
- 색인어 특성에 맞춰 Analyzer를 설계할 필요성
- 형태소 분석기와 N-gram을 역할 분리해 조합하는 접근
- 미노출 CS 감소처럼 검색 품질 개선 효과를 운영 지표로 확인