데브옵스
Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정
두줄요약
Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.
문제 상황
- 초창기 Spring Batch + DB 기반 정산 구조의 대용량 이벤트 처리 병목
- 상태 테이블 중심 설계로 인한 멱등성 보장 어려움과 재정산 오류
- 정산 배치와 서비스 조회가 같은 DB를 써서 발생한 운영 부하와 안정성 충돌
원인 분석
- 지나친 정규화로 단일 이벤트 재구성 시 다중 조인 비용 증가
- 과거 시점 상태 복원이 어려운 구조로 인해 재실행 결과 불일치 발생
- AWS Glue, Step Functions, Spring Batch가 분리돼 운영 복잡도와 추적 난이도 상승
해결 방법
- 이벤트 단위 단일 로우 모델과 Bronze/Silver/Gold 티어 구조로 데이터 흐름 단순화
- Apache Iceberg 버저닝과 Time Travel로 재정산 멱등성 확보
- Airflow와 Databricks로 오케스트레이션과 대규모 연산을 코드 기반으로 통합
성능/운영 포인트
- Airflow DAG 시각화와 재시도로 가시성, 장애 대응, 재처리 편의성 개선
- Databricks 노트북과 Data Lineage로 분석·배치 협업 및 실행 추적 강화
- S3 중심 적재와 API 폴링 전환으로 운영 DB 부하와 보안 리스크 완화