AI
LLM 품질 평가 SPeCTRA , 채팅플러스 검증 도입으로 본 확장의 첫걸음
두줄요약
LLM 품질 평가 도구 SPeCTRA를 채팅플러스 검증에 확장 적용한 사례를 소개했습니다. Postman 자동화와 Judge 프롬프트 튜닝으로 커버리지와 효율을 높였습니다.
핵심 내용
- 에이닷 QE팀의 SPeCTRA를 채팅플러스 PC 버전 LLM 기능 검증에 확장 적용한 사례
- 새 메시지 작성, 답장추천, 수정제안, AI 플래너 등 기능별로 테스트케이스와 Judge 프롬프트를 서비스 특성에 맞게 조정
- Postman 자동화와 Google Sheet 기록으로 응답 평가, 결과 정리, 커버리지 확장 수행
- Update 기능까지 LLM 기반으로 자동 생성해 반복 테스트와 수작업 부담을 줄인 점 공유
적용해볼 점
- LLM 서비스별 기대 응답과 안전 기준을 분리해 평가 항목을 튜닝할 필요
- 고정 TC와 함께 응답 기반 동적 케이스 생성으로 검증 범위를 넓힐 여지