[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 2편 - LLM을 활용한 최신성 반영
AI
[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 2편 - LLM을 활용한 최신성 반영
두줄요약
LLM으로 연관성 점수와 랭킹 레이블을 생성해 검색 결과에 최신성을 반영한 RRA-T 개선 사례를 다뤘습니다. 사용자 클릭 로그와 하이퍼파라미터 튜닝을 통해 최신 문서 노출과 검색 품질의 균형을 맞췄습니다.
핵심 내용
- LLM의 랭킹 능력을 검색 재순위화에 이식한 RRA-T 모델로 최신성까지 반영하는 개선 사례
- 질의-문서 연관성 점수와 랭킹 레이블을 LLM으로 생성하고, 사용자 클릭 로그로 프롬프트를 검증하는 데이터 구축 과정
- 목록 단위 랭킹·스코어링 프롬프트가 개별 단위보다 우수해 최종 학습 데이터 생성 방식으로 채택
- 연관성 점수 임계값과 최신성 가중치를 조정해 최신 문서 노출과 검색 품질 사이 균형을 맞추는 방식
적용해볼 점
- 사용자 피드백 로그를 레이블 검증 기준으로 활용하는 방법
- 랭킹 성능과 최신성 비율을 함께 보며 하이퍼파라미터를 튜닝하는 접근
- 연관성 낮은 최신 문서의 상위 노출을 막기 위한 임계값 기반 페널티 설계