데브옵스
Airflow Task failed Alert Mail 폭탄 회피하기
두줄요약
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
문제 상황
- Airflow에서 동일 원인으로 여러 Task가 동시에 실패할 때 Task 단위 Alert mail이 대량 발송되는 노이즈 발생
- 수백 개 ETL Pipeline과 동적 Task 생성 구조로 인해 동일 장애에 대한 중복 알림이 반복되는 상황
원인 분석
- Airflow의 실패 알림이 DAG가 아니라 Task 단위로 발송되는 구조
- 한 DAG 안에서 for 문으로 유사 Task를 다수 생성하는 패턴으로 동일 오류가 여러 Task에 전파되는 구조
해결 방법
- 모든 Task의
email_on_failure를 비활성화하고 별도 Alert Task만 실패 알림을 담당하도록 재구성 - DAG run의 Task Instance 상태를 확인해 실패 Task만 모아 단일 메일로 발송
- 메일 본문에 실패 Task의 log_url과 로그 파일 내용을 함께 포함