오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기

문제 상황

• HDFS 기반 운영계 데이터는 D-1 스냅샷 중심이라 실시간 조회가 어려운 구조
• 대용량 적재·조회 시 리소스 소모와 데이터 적재 지연이 발생하는 분석 환경

원인 분석

• 운영계 데이터의 Dump·Snapshot 적재 방식으로 인한 Data Freshness 저하
• Hive 중심 분석 구조에서 소용량 탐색성 쿼리 대응 한계와 이종 데이터 활용 제약
• 기존 Presto 엔진의 호환성 문제와 CTAS 실행 이슈

해결 방법

• Trino를 전사 분석 엔진으로 도입해 운영계 DB·Backup DB·HDFS를 연결 기반으로 조회
• Trino Gateway로 HA 구성과 장애 대응 체계 보완
• Ranger, QueryCache, Galleon, MeDic, 모니터링·배포 도구를 함께 구축해 운영성과 접근성 강화

성능/운영 포인트

• 1,000만 Rows 미만 Text 데이터에서 Hive보다 빠른 조회 성능 확인
• 7개 형태의 데이터 입수 구조를 5개로 일원화해 실시간 조회 체계 정비
• Grafana·Elasticsearch·알림 연동으로 Trino 클러스터와 데이터 소스 상태를 상시 감시