백엔드
토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage
두줄요약
토스증권은 수천 개 실시간 데이터 파이프라인을 DAG 리니지 시각화로 관리했습니다.\nMongoDB Graph Search 기반 탐색과 상세 정보 제공으로 운영 효율과 커뮤니케이션 비용을 줄였습니다.
핵심 내용
- 토스증권의 수천 개 실시간 데이터 파이프라인 운영 경험 중, 1부에서는 리니지(Lineage) 시각화로 운영 효율을 높인 사례를 소개
- 실시간 파이프라인은 OLTP와 OLAP 간 즉시 데이터 이동, CQRS 지원, 시세·랭킹·서비스 이벤트 처리에 활용
- DAG 구조로 파이프라인 메타데이터를 MongoDB에 저장하고 Graph Search로 탐색·시각화하는 웹 서비스 구성
- 자동완성 검색, 노드·엣지 상세 정보, 프로세싱 로직 확인 기능으로 팀 간 커뮤니케이션 비용과 운영 부담을 감소
적용해볼 점
- 파이프라인의 흐름과 의존성을 DAG로 모델링해 가시성 확보
- 메타데이터 기반 탐색·시각화로 운영 중인 Job의 용도와 연결 관계를 빠르게 파악
- Latency, 처리량, SLA, 담당자, 적재 성격까지 통합한 메타데이터 관리로 확장 가능