데이터카탈로그에서 DataHub를 이용하는 방법

핵심 내용

• 사내 데이터 디스커버리 도구 데이터카탈로그를 DataHub 기반으로 구축한 배경과 구성 소개
• DataHub API 대신 OpenSearch와 DB를 직접 활용해 컬럼 검색, 리니지, BI 통합 기능을 데이터카탈로그에 맞게 구현
• DataHub 버전업과 Spark 리니지, DB 네이밍, Redash 수집 성능 문제를 개선하며 운영 적합성 확보

구조와 흐름

• DataHub의 메타데이터 저장소, 검색 인덱스, Metadata Service, Frontend Server 구성 설명
• 검색 결과를 컬럼 단위로 변환하고, 리니지를 degree 단위로 재귀 조회하는 방식 정리
• BI 도구 수집은 활성 대시보드와 핵심 차트 중심으로 축소하고 SQL 파서 교체로 처리 시간 단축

선택 이유

• 사용자 친화적 UI/UX와 데이터 탐색 경험을 위해 DataHub를 그대로 노출하지 않는 방향 채택
• API 우회보다 DB·OpenSearch 직접 접근이 성능과 응답 형식 제어에 유리하다고 판단
• 버전별 기능 차이와 사용자 혼란을 줄이기 위해 인덱스 설정을 유지한 채 업그레이드 조정

성능/운영 포인트

• OpenSearch 느린 쿼리 로그를 활용해 실제 인덱스 쿼리 파악
• Spark 3.4 호환성 문제는 버전별 메소드 차이를 반영한 분기 로직으로 해결
• Redash 수집은 대상 축소와 파서 교체로 2시간 이상에서 40분 내외로 단축