데브옵스
올리브영 QA의 AWS Lambda를 통한 On call 도입기
두줄요약
슬랙 기반 인시던트 전파의 지연 문제를 해결하기 위해 AWS Lambda와 CloudWatch Logs를 활용한 온콜 자동화 과정을 소개했습니다. Jira 티켓 생성과 담당자 알림까지 이어지는 흐름으로 장애 대응 속도를 높였습니다.
문제 상황
- 슬랙 알림 미확인 시 인시던트 전파 지연
- 유선 연락 등 수작업 중심의 장애 공유 방식
- 증가하는 담당자 수에 따른 초대 관리와 유지보수 부담
원인 분석
- 슬랙 단독 관리로 알림 누락 가능성 존재
- Jira가 사내망 전용이라 외부망 Lambda 연동 제약 발생
- 채널 생성, 초대, 티켓 생성 절차의 분리와 자동화 필요
해결 방법
- AWS Lambda 트리거로 인시던트 채널 생성과 후속 작업 자동화
- CloudWatch Logs를 기준으로 Jira 티켓 생성 웹훅 호출
- 온콜 웹훅 연계로 담당자 전화 알림과 QA 채널 전파