프론트엔드
29CM QA팀은 어떻게 테스트 자동화 지표를 활용하여 신뢰성을 확보할 수 있었을까?
두줄요약
App 테스트 자동화의 흔들리는 신뢰성을 정량 지표로 관리하며 개선했습니다. PostgreSQL과 Grafana로 Fail률과 수행시간을 추적해 근본 원인을 찾아 해결했습니다.
문제 상황
- App 테스트 자동화에서 UI·UX 변경과 A/B 테스트 영향으로 Fail이 잦아지며 신뢰성 저하 발생
- API 자동화는 상대적으로 안정적이지만, 모바일 App 자동화는 결과 해석과 운영 판단이 어려운 상태
- Fail률이 보이지 않으면 개선 여부를 판단하기 어려워 정량 지표 필요
원인 분석
- 화면 변경 빈도와 계정별 UI 차이로 인해 테스트 스크립트가 쉽게 흔들리는 구조
- 대기시간 증가나 Flow 축소 같은 임시 대응은 근본 원인 해결에 한계
- 시나리오별 수행시간, 에러 코드, 에러 원인 같은 데이터 부재로 추이 파악이 어려움
해결 방법
- PostgreSQL과 Grafana로 테스트 결과를 DB화하고 시각화 대시보드 구성
- platform, error_code, error_reason, insert_time, error_scenario, test_result, test_progress_time 등 필수 지표 수집
- 주간·월간 Fail률, 시나리오별 수행시간, 빈도 높은 에러를 추적하며 근본 원인 개선
성능/운영 포인트
- 배포 빌드와 프론트엔드 배포에 맞춰 자동 트리거 수행
- 주간·월간 시각화로 Fail률 추이와 성능 저하 구간 확인
- xpath 재탐색, 팝업 체크 방식 개선으로 안전성 우선 운영