백엔드
당근 데이터 디스커버리 구축기: DataHub와 DataWiki로 여는 데이터 탐색의 첫걸음
두줄요약
DataHub로 메타데이터의 수집과 신선도 관리를 먼저 정비했습니다. 이후 DataWiki와 SSOT를 더해 도메인 맥락까지 담는 데이터 탐색 환경을 구축했습니다.
문제 상황
- 데이터는 쌓이지만 어디에 무엇이 있는지, 의미와 소유자, 최신 상태를 파악하기 어려운 데이터 탐색 문제
- 검색만으로는 테이블·컬럼의 맥락, 활용 예시, 도메인 가이드까지 함께 보기 어려운 한계
구조와 흐름
- DataHub로 메타데이터 수집, 저장, 검색의 기본 뼈대 구축
- DataWiki로 도메인별 지표, 테이블, 비즈니스 로직을 함께 정리해 맥락 보강
- BigQuery를 메타데이터 SSOT로 두고 DataHub와 DataWiki를 양방향 연결
선택 이유
- DataHub는 자동 수집, 검색, 관계 탐색에 강해 데이터 신선도와 접근성 확보에 적합
- Notion 기반 DataWiki는 빠른 실험과 참여 유도에 유리해 맥락 수집의 진입장벽을 낮춤
성능/운영 포인트
- Airflow와 n8n으로 메타데이터 업데이트와 신선도 모니터링 자동화
- 7일 미갱신 데이터셋을 신선하지 않은 데이터로 판단해 soft delete와 알림 처리
- 전사 Editor 권한 부여와 요청 기반 수집으로 메타데이터 사각지대 축소