[에이닷 4.0 QE 여정1] 에이닷 4.0 품질 비하인드

문제 상황

• 에이닷 4.0에서 원 에이전트, GPT 기반 LLM, 멀티턴, 메모리, Rewrite 등 구조가 크게 바뀌며 기존 버튼 중심 테스트 방식만으로 품질을 담보하기 어려운 상황
• 기능 이슈와 모델 응답 이슈가 동시에 발생해 점검 우선순위와 품질 가이드가 필요한 상태

해결 방법

• 기획 초기부터 QA가 참여해 Sanity Test, 사용자 시나리오 검토, 도메인별 리스크 정의로 선제적으로 이슈를 걸러냄
• 실제 사용자 발화 기반 테스트와 SPeCTRA 2.0 기준으로 LLM 응답을 대규모 평가하고, 결과를 배포마다 공유하며 개선점 추적
• daily report로 이슈 유형, 통과율, 영향도를 정리해 팀 전체가 같은 품질 기준으로 움직이도록 지원

적용해볼 점

• AI 서비스 품질은 기능 테스트만이 아니라 응답 자연스러움과 맥락 적합성까지 함께 평가할 필요
• QA를 후반 점검이 아닌 기획·개발 초기부터 참여하는 품질 주도 역할로 운영할 필요