호텔 검색, 어떻게 달라졌을까요? 2편 - 지식 증류
AI
호텔 검색, 어떻게 달라졌을까요? 2편 - 지식 증류
두줄요약
호텔 검색에서 LLM을 sLLM으로 옮기기 위해 지식 증류를 적용한 과정을 다뤘습니다. 성능과 효율을 함께 확보하기 위한 모델 선정, 데이터 구성, 학습 기법 개선을 설명했습니다.
핵심 내용
- 호텔 검색의 블로그 POI 추출, 다국어 음차 변환, 번역, 검색 키워드·스니펫 생성에 LLM을 활용한 배경
- 실시간 서비스 적용을 위해 높은 비용과 지연이 있는 LLM 대신 sLLM을 지식 증류로 최적화하려는 시도
- Teacher/Student 선정, 환각 없는 학습 데이터 구성, 블랙박스 증류와 근거 학습, MoE·LoRA 실험을 통한 성능 개선
- 최종적으로 실시간 트래픽을 감당하는 sLLM을 서비스에 적용해 검색 품질과 운영 효율을 함께 확보
적용해볼 점
- LLM 품질을 유지하면서 경량 모델로 전환할 때 지식 증류를 핵심 전략으로 검토
- Teacher·Student 선정과 학습 데이터 품질 관리, 근거 학습 설계가 성능에 큰 영향
- 태스크별 간섭을 고려해 단일 작업 학습과 다중 작업 학습의 적용 범위 구분