“누구세요?”는 이제 그만 – AI 예측 LLM 개발기

핵심 내용

• 미저장 연락처의 통화 상대 관계를 예측해 사용자에게 태그로 노출하는 AI 서비스 개발기
• 2.7만 개 이상의 다양한 관계명, 사용자-상대방 쌍바뀜, 민감관계 오추정 문제를 해결하는 데 초점
• 고품질 데이터 생성·정제와 고성능 LLM 학습을 결합해 예측 정확도와 신뢰도 개선
• 전문가 평가와 LLM 평가를 함께 활용해 기존 대비 13% 이상 성능 향상 확인

적용해볼 점

• 관계명이 다양하고 긴 꼬리를 가진 분류 문제에서 생성형 접근과 데이터 품질 관리 중요성
• 민감한 예측 기능은 보수적 태깅과 별도 정밀 추론 전략 필요
• 짧은 레이블 태스크에서도 LoRA, PEFT, CPT 같은 학습 전략으로 성능 개선 가능