AI
AI로 통화의 미래를 열다: 에이닷 전화 통화요약 서비스의 핵심 기술(LLM) 소개
두줄요약
에이닷 전화 통화요약 서비스에 적용한 LLM 개발 과정을 소개했습니다. 자동·수동 데이터를 결합한 학습과 LoRA 기반 미세조정, 전문가 평가로 품질을 높였습니다.
핵심 내용
- 에이닷 전화 통화요약 서비스에 적용한 LLM 개발 과정 소개
- 통화 내용을 한줄요약, 문단요약, 소제목요약, 통화분류, 주제태그, AI제안으로 자동 생성하는 구조
- 대규모 통화 트래픽과 토큰 처리 환경에서 동작하는 서비스 특성
구조와 흐름
- 기획과 학습데이터 설계, 모델 개발, 정성평가의 3단계 개발 흐름
- 고품질 요약 형식을 먼저 정의하고 학습데이터를 이에 맞춰 구축하는 방식
- 모델 결과를 평가하고 데이터를 정제한 뒤 재학습하는 반복 사이클
적용해볼 점
- 자동 생성 데이터와 수동 검증 데이터를 결합한 학습데이터 구축
- PEFT와 LoRA 기반의 효율적인 미세조정 활용
- BLEU, ROUGE와 전문가 평가를 함께 사용하는 품질 검증 체계