기타
Data Catalog – Datahub
두줄요약
데이터레이크 확산으로 데이터 카탈로그와 거버넌스의 중요성을 설명했습니다. 오픈소스 Datahub의 메타데이터 수집, 검색, 리니지, 연동 기능을 소개했습니다.
핵심 내용
- 퍼블릭 클라우드와 데이터레이크 확산으로 데이터 카탈로그와 거버넌스 중요성 증가
- 카탈로그의 주요 기능으로 커넥터, 자동화, 검색, 리니지, 용어사전, 프로파일링 제시
- Datahub를 메타데이터 수집, 검색, 가시성, 데이터 거버넌스를 지원하는 오픈소스 카탈로그로 소개
- Snowflake, Airflow, GX와의 연동 및 UI/API 기반 수집·모니터링 기능 언급
적용해볼 점
- 데이터 소스 검색과 메타데이터 관리를 위한 카탈로그 도입 검토
- 리니지와 품질 결과까지 함께 보는 거버넌스 체계 확인
- 오픈소스 카탈로그 후보로 Datahub 기능 비교