AI
T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기
두줄요약
올리브영이 Gemma 3-4B 기반 sLLM을 단일 T4 GPU 환경에서 학습해 리뷰 테마 추천에 적용한 사례를 다뤘습니다. 상용 API 대비 재현성과 비용 통제력을 높이고, 프롬프트 단축과 최적화로 실서비스 품질을 확보했습니다.
핵심 내용
- 올리브영 리뷰 테마 추천 서비스에 사용할 도메인 특화 sLLM 구축 사례
- 상용 LLM API 대신 Gemma 3-4B-IT를 SFT로 학습해 재현성, 버전 통제, 운영 비용 예측 가능성 확보
- Tesla T4 16GB 단일 GPU 환경에 맞춰 텍스트 전용 로드, LoRA·QLoRA, gradient checkpointing, gradient accumulation 등으로 메모리 최적화
- 긴 프롬프트를 학습으로 내재화해 528자 수준을 98자로 줄이고, 정확도 약 95%와 처리량·비용 개선 달성
적용해볼 점
- 도메인 특화 생성 과업은 규칙 기반보다 SFT 기반 소형 LLM이 더 적합할 수 있음
- 학습 전 출력 형식과 품질 기준을 명확히 고정해야 재학습과 서비스 적용이 수월함
- 제한된 GPU 환경에서는 양자화, LoRA, 배치 최적화 조합이 실용적