Mapping Karrot’s Data: How We Built Column-Level Lineage
백엔드
Mapping Karrot’s Data: How We Built Column-Level Lineage
두줄요약
Karrot 데이터팀이 BigQuery SQL 로그를 파싱해 컬럼 단위 데이터 계보를 구축한 과정을 소개했습니다. 테이블 단위 한계를 보완하고 영향 분석과 PII 추적을 정교하게 만든 사례입니다.
핵심 내용
- Karrot 데이터팀이 BigQuery SQL 로그를 파싱해 컬럼 단위 데이터 계보를 구축한 사례
- 테이블 단위 계보의 한계, PII 추적과 장애 영향 범위 분석의 필요성
- INFORMATION_SCHEMA, OpenLineage 대신 SQL 파싱과 sqlglot, Spark, Airflow 조합을 선택
- CTE, 서브쿼리, alias 처리 등 복잡한 쿼리 패턴을 단계적으로 확장