백엔드
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
두줄요약
토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.
핵심 내용
- 토스증권 실시간 데이터 팀이 Kafka 생태계 위에서 ksqlDB를 선택한 배경과 운영 경험 정리
- SQL 기반 개발 생산성, 배포·모니터링 단순성, Kafka 친화적 구조를 주요 선택 이유로 제시
- 동시 접속자 집계, 환전 이상 탐지, 계좌 상태 실시간 확인, ML feature 생성 등 활용 사례 소개
- 장점과 함께 Kafka 이해 필요성, KSQL 형상관리, UI 부재 같은 운영상의 한계도 공유