백엔드
검색엔진의 Analyzer, 형태소분석기 ≠ 토크나이저
두줄요약
검색엔진의 Analysis 흐름과 Analyzer의 역할을 정리하고, 형태소 분석기와 토크나이저의 차이를 설명했습니다. 또한 동의어·n-gram·stop filter로 검색 품질을 조정하는 방법을 소개했습니다.
핵심 내용
- 검색엔진의 역색인 구조와 이를 위해 원문에서 term을 추출하는 Analysis/Analyzer 개념 정리
- Analysis 3단계 구성: Character-Filtering, Tokenizing, Token-Filtering
- 형태소 분석기는 원문을 형태소 단위로 쪼개는 과정, 토크나이저는 이를 포함해 토큰 생성·결합·제거까지 수행
- 동의어, shingle, n-gram, stop filter 등 토큰 필터로 검색 품질을 조정하는 방식 소개
적용해볼 점
- 검색 대상의 입력 형태와 의도에 맞게 토크나이저와 필터를 조합해 검색 정확도 개선
- 복합명사, 동의어, 불필요한 패턴 제거를 색인 단계에서 반영해 검색 범위 제어