[DAN 24] 검색과 피드의 만남: LLM으로 완성하는 초개인화 서비스 ② 사용자 검색 의도 세분화

문제 상황

• 검색어만으로 추천하면 맥락과 동떨어진 콘텐츠가 노출되는 한계
• 문서만 분석하면 검색된 원래 의도와 무관한 키워드가 추출되는 문제
• UGC 특성상 하나의 문서에 여러 주제가 섞여 있어 질의와 문서의 통합 고려 필요

해결 방법

• 질의 Q와 문서 D를 함께 입력해 요약 생성 질의 Q*를 만드는 생성형 모델 설계
• 사내 LLM HyperCLOVA X를 사용해 패러프레이징과 자연스러운 어순까지 반영
• 검색 로그로 질의-문서 쌍을 수집하고, 포함 관계 질의 중 토큰 수가 가장 많은 질의를 정답으로 활용

성능/운영 포인트

• 검색 로그 기반 데이터의 패턴 편향을 줄이기 위해 교사-학생 구조의 지식 증류 적용
• HCX-L로 고품질 데이터 증강 후 HCX-S를 학습해 경량 서빙 구조 구성
• vLLM, 멀티 GPU, continuous batching, 오토/제로 스케일링으로 QPS와 GPU 효율 개선