Playwright와 Jira로 만드는 스마트 장애/변경 알림 및 관리 시스템

문제 상황

• 기존 TTS 시스템이 외부 의존적이라 모니터링, 변경, 장애에 대한 제어권이 부족한 상황
• 시나리오 등록과 변경 때마다 담당자와의 커뮤니케이션 비용이 커서 운영 효율 저하
• 장애 급수가 낮은 사례에서 복구가 지연되는 경향이 있어 모든 장애에 대한 빠른 탐지 필요

원인 분석

• 장애 감지, 알림 전파, 티켓 관리가 분리된 프로세스로 운영돼 응답 지연 발생
• E2E 시나리오와 모니터링 범위 정의를 수작업으로 전달해야 해 변경 대응이 어려움
• 네트워크 유휴 상태 기반 탐지와 단일 재시도 중심 설정이 오탐을 유발

해결 방법

• Playwright를 E2E 모니터링 도구로 선정해 시나리오 테스트를 자동화
• Jira와 Slack 봇을 연계해 장애 티켓 생성, 상태 관리, 알림 전파를 자동화
• 쿠버네티스 크론잡으로 매분 실행하고, 재시도와 연속 실패 조건을 조정해 오탐을 감소

성능/운영 포인트

• tests, commonFunctions, auth, config로 분리한 구조로 시나리오 추가와 재사용성 강화
• Before ALL, Serial TEST, After EACH, After ALL 흐름으로 공통 처리와 시나리오 정의를 분리
• 스크린숏, 비디오, Slack 캡처 업로드로 장애 상황 파악 속도 향상

적용해볼 점

• E2E 점검, 알림, 티켓 관리를 하나의 흐름으로 묶는 운영 자동화 구조 참고
• 배포 주기와 재시도 정책을 함께 조정해 false positive를 줄이는 방식 참고
• Slack 이모지 리액션으로 Jira 상태를 제어하는 운영 패턴 참고