AI 스타일 검색 2편 : 듀얼 벡터 검색과 OpenSearch 3.3 버전업

핵심 내용

• 키워드 선필터만으로는 롱테일 검색어와 노이즈 키워드 문제를 해결하기 어려워, 시맨틱 벡터와 비주얼 벡터를 함께 쓰는 듀얼 벡터 검색을 설계
• Rescore, min_score 등 대안은 후보군 품질과 레이턴시, 결과 수 제어 한계로 배제하고, 하나의 쿼리에서 두 벡터를 동시에 탐색하는 방식으로 전환
• 듀얼 벡터 도입 후 메모리 부족과 디스크 I/O 병목이 드러났고, 인스턴스 스펙 조정과 OpenSearch 3.3 버전업 가능성을 검토

문제 상황

• 유저픽 기반 선필터 구조가 등록되지 않은 검색어에서 결과를 만들지 못하는 한계
• 등록된 키워드의 품질 편차와 노이즈로 인한 검색 정확도 저하
• 벡터 데이터 증가로 인한 페이지 캐시 고갈, IOPS 폭증, 세그먼트 병합 부하

해결 방법

• SigLIP 시맨틱 벡터를 추가해 의미 기반 후보군을 만들고 비주얼 벡터와 결합한 듀얼 벡터 검색 적용
• kNN filter 기반 pre-filter와 수동 boost로 의미·스타일 점수 스케일 조정
• 메모리 최적화 인스턴스로 전환해 페이지 캐시 여유를 확보하고, OpenSearch 3.3의 derived source·concurrent segment search 개선을 사전 검증