호텔 검색, 어떻게 달라졌을까요? 4편 - 이미지 검색

핵심 내용

• 호텔·플레이스 검색에서 이미지 검색 품질 개선 필요성 정리
• 일반 CLIP 한계를 보완한 플레이스 특화 멀티모달 인코더 학습
• 검색 키워드와 이미지 콘텐츠 연관성 강화로 POI 맥락 반영

문제 상황

• 대표 이미지가 질의와 무관하게 고정 노출되는 문제
• 새로운 키워드 등장 시 이미지 매칭 품질 저하
• 일반 도메인 CLIP의 플레이스 특화 성능 한계

해결 방법

• 플레이스 도메인 데이터로 CLIP 인코더 재학습
• 블로그·사용자 리뷰 활용한 이미지 랭킹 알고리즘 적용
• 검색 질의와 이미지의 의미적 연관성 학습

성능/운영 포인트

• 파인튜닝 중 파괴적 망각 완화
• layer-wise discriminative learning rate 적용
• 소량 이미지로도 클래스 확장 가능한 centroid 기반 학습