AI
LLM Knowledge Distillation 훑어보기 - part 1
두줄요약
LLM 지식 증류의 개념과 주요 방법론을 정리한 글입니다. Teacher 모델의 지식을 Student 모델에 이전하는 방식과 구현 접근을 소개했습니다.
핵심 내용
- LLM 지식 증류의 개념과 배경 정리
- 큰 Teacher 모델의 지식을 작은 Student 모델로 이전해 성능 격차를 줄이는 방식
- Supervised KD, Synthetic Data 기반 distillation, GKD 등 주요 방법론 비교
- Forward KL, Reverse KL, mode-covering/mode-seeking 차이와 적용 맥락
- TRL 또는 RLxF 코드로 GKD를 구현하는 접근
적용해볼 점
- API 접근만으로도 synthetic data distillation 가능
- tokenizer가 달라도 동작하는 방식의 활용 가능성
- teacher 응답 품질과 샘플 선택 전략이 student 성능에 중요