경량화 레시피: Teacher 지식 조린 소형 모델, 근데 성능을 곁들인
AI
경량화 레시피: Teacher 지식 조린 소형 모델, 근데 성능을 곁들인
두줄요약
서비스용 LLM을 성능 저하 없이 소형화하는 경량화 레시피를 소개했습니다. 제목 추천과 키워드 추출 사례로 실무 적용 방식을 다뤘습니다.
핵심 내용
- 서비스 애플리케이션 요구사항을 충족하는 LLM을 성능 열화 없이 Small LLM으로 경량화하는 레시피 소개
- Teacher 지식을 활용해 소형 모델의 품질을 유지하는 방향의 발표 세션 공개
- 제목 추천, 사물 키워드 추출 같은 적용 사례를 통해 경량화 접근을 설명