프론트엔드
Fail률 감소 목표 집요하게 달성하기 — Android UI 자동화
두줄요약
Android UI 자동화의 높은 실패율 원인으로 UI 변경, 웹뷰 핸들러 문제, CI 실행 차이를 짚었습니다. 시나리오 분리와 재실행, 대기 코드 보강으로 실패율을 크게 낮춘 개선 과정을 공유했습니다.
문제 상황
- Android UI 자동화 BVT에서 다수 시나리오 실패로 배포 전 검증 실패율이 높아진 상태
- 주 1회 배포 환경에서 유지보수 리소스 증가와 코드 리팩토링 필요성 대두
원인 분석
- UI 변경으로 인한 id 누락과 path 값 변경
- 웹뷰 전환 시 window handler 중첩과 전환 실패
- CI/CD 파이프라인에서 로컬보다 빠른 수행으로 요소 탐색 실패와 앱 종료 발생
해결 방법
- 변경된 path 반영, 누락된 id는 재적재된 빌드로 재검증
- 시나리오 분리와 앱 재실행으로 handler 히스토리 제거, 알림 구조 단일화
- 로컬·STF·파이프라인 순차 검증과 대기 코드 보강으로 실행 안정성 개선
적용해볼 점
- 자동화 실패 원인을 UI, 실행 환경, 상태 관리로 나눠 추적
- 시나리오 종속성 제거와 재실행 전략으로 테스트 격리 강화
- 로컬과 CI 환경 차이를 전제로 검증 단계 다층화