“따뜻한 색감의 소재 찾아줘” — 자연어로 광고 소재 검색하기

핵심 내용

• 광고 소재 이미지를 자연어 질의로 검색하는 PoC 정리
• Offline Pipeline에서 이미지로부터 구조화된 Description 추출 후 Dense·Sparse 이중 인덱싱
• Online Pipeline에서 질의 이해, Hybrid Search, LLM reranking으로 결과 생성
• Description 기반 접근 선택 이유로 표현력, 검색 유연성, 해석 가능성, 반복 개선 용이성 제시

선택 이유

• 이미지 직접 임베딩보다 텍스트 공간으로 통일해 질의와 대상의 비교를 단순화
• 키워드 검색과 의미 검색을 함께 쓰는 Hybrid Search 확장성 확보
• 마케팅 도메인 어휘를 프롬프트로 직접 주입해 검색 공간 조정 가능

트레이드오프

• 확장 쿼리를 원본과 동등 가중치로 합치면 의도에서 벗어난 신호가 성능 저하로 연결
• Exploration 비중이 과하면 원본 의도가 묻히고, 낮추면 확장 효과가 약화
• Description을 길게 하거나 어휘 힌트를 주는 방식이 오히려 노이즈·편향을 키울 수 있음

적용해볼 점

• 이미지 검색 문제에서 텍스트화와 Hybrid Search 조합 검토
• Query Expansion 시 원본과 확장 쿼리의 가중치 튜닝 필요
• LLM 출력 개선은 직관보다 실측 지표로 검증