데브옵스
AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
두줄요약
Amazon DataZone와 OpenLineage를 활용해 RDS View 테이블의 데이터 계보를 작성하는 방법을 소개했습니다. pg_get_viewdef와 SQL Parser로 입력·출력 테이블을 추출한 뒤 Lambda로 DataZone에 반영했습니다.
핵심 내용
- Amazon DataZone의 데이터 계보 기능으로 관계형 데이터베이스의 View 테이블 계보를 그리는 방법 정리
- DataZone 기본 계보만으로는 부족한 경우 AWS Lambda와 OpenLineage 표준을 활용해 직접 계보 이벤트를 작성
- PostgreSQL의
pg_get_viewdef와 OpenLineage SQL Parser로 View 정의문에서 입력·출력 테이블을 추출 - 추출된 테이블과 컬럼 정보를 DataZone에
post_lineage_event로 등록해 계보 시각화 구성