[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 1편 - LLM 이식 방법

핵심 내용

• 롱테일 질의의 검색 랭킹 개선을 위해 LLM의 재순위화 능력을 검색에 이식한 방법을 정리한 글
• LLM을 직접 서빙하는 대신 정답 데이터셋 생성과 지식 증류에 활용하고, 경량 랭커로 학습하는 방향을 선택
• HCX로 정답 및 하드 네거티브 데이터를 구축한 뒤 BERT 스타일과 GPT 스타일 랭커를 학습해 성능과 추론 효율을 확보
• 실제 서비스 A/B 테스트에서 상위 문서 클릭률 증가와 더 나은 문서 배치를 확인

적용해볼 점

• 복잡한 랭킹 문제에서는 대형 모델 직접 적용보다 목적 특화 모델과 증류 전략을 고려
• 학습 데이터 품질을 높이기 위해 LLM으로 정답과 hard negative를 함께 구성
• 추론 단계에서 불필요한 생성 과정을 제거해 검색 서비스의 응답성과 비용을 개선