데브옵스
AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
두줄요약
AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.
문제 상황
- Airflow 기반 데이터 마트 파이프라인의 출처·변환 과정을 추적할 데이터 계보 필요
- Amazon DataZone의 기본 계보는 라이프사이클 내 게시·구독 이벤트 중심이라 Airflow 작업 계보를 별도 작성해야 함
해결 방법
- MWAA에서 OpenLineage 이벤트를 CloudWatch Logs에 기록하도록 플러그인과 환경 변수 구성
- CloudWatch 로그를 Assume Role로 읽어 프로시저명과 SQL을 파싱한 뒤 입력·출력 테이블을 추출
- 추출한 테이블과 자산 메타데이터를 조합해 Amazon DataZone API로 lineage event 게시
적용해볼 점
- Airflow 로그와 DataZone 자산 정보를 연결해 운영 중인 배치 작업 계보를 자동화
- 입력·출력 테이블과 컬럼 정보를 함께 반영해 포털에서 검색 가능한 계보 품질 향상