AI 선생님과 제자의 대화: Teacher–Student 구조와 BERTScore, Classifier 활용법

핵심 내용

• Teacher–Student 구조를 지식 증류 관점에서 정리
• 대형 Teacher 모델이 생성한 멀티턴 대화 데이터를 소형 Student 모델이 학습하는 흐름 설명
• 빠른 응답 속도와 비용 효율을 위한 에이전트형 AI 적용 맥락 제시

구조와 흐름

• Teacher가 고품질 멀티턴 대화 생성
• Student가 해당 대화 흐름을 파인튜닝으로 모방
• response-based knowledge를 예시로 학습 데이터 구성 방식 제시

적용해볼 점

• 멀티턴 대화형 서비스에서 문맥 유지형 학습 데이터 구축
• Teacher와 Student 응답의 유사도 검증 자동화
• 검증 항목별 평가 기준 분리 설계