아키텍처
Data Lineage를 활용한 Data Ontology 출발
두줄요약
Data Ontology 구축을 위해 Data Lineage로 Mart 데이터의 속성과 관계를 추출하는 방법을 소개했습니다. JsqlParser 기반 Table Level Lineage 파싱으로 WITH, INSERT, JOIN 흐름을 분석했습니다.
핵심 내용
- Data Ontology 구축을 위해 Mart 데이터의 속성과 관계를 정의하는 방법 공유
- Data Lineage를 기반으로 데이터 생성·변환·소비 흐름을 추적해 메타데이터와 인사이트를 생성하는 방향 제시
구조와 흐름
- Data Ontology를 클래스, 인스턴스, 속성, 관계, 공리로 정리
- Table Level Lineage를 Source Table, Target Table, Join Table, Temporary Table 관점으로 구분
- WITH문, INSERT문, JOIN문 파싱을 통해 테이블 계보 추출
선택 이유
- 쿼리 실행 없이 AST 기반으로 추출 가능한 JsqlParser 채택
- 기존 쿼리 다수, 복잡한 Spark 쿼리, 재실행 비용, 시각화 불필요 조건을 고려한 선택
적용해볼 점
- Mart 데이터의 공통 사용 테이블을 통해 속성·관계 후보 발굴
- Lineage 결과를 ETL 최적화, 업무 속도 개선, 마케팅 및 AI 활용에 연결