백엔드
허튼짓은 그만: Kafka Streams를 활용한 실시간 이상 로그인 감지 시스템 도입하기
두줄요약
Kafka Streams로 로그인 성공·실패 이벤트를 실시간 분석해 이상 로그인 감지 시스템을 구축했습니다. 상태 저장소, windowing, 모니터링 설정으로 보안 대응성과 운영 안정성을 높였습니다.
핵심 내용
- 로그인 성공·실패 이벤트를 Kafka Streams로 실시간 집계해 이상 로그인 패턴을 감지하는 시스템 도입기
- RDB 배치 조회 대신 Kafka 메시지 기반 처리로 전환하고, 서드파티 추가 없이 Java 라이브러리로 구성
- Streams DSL, 상태 저장소, changelog, windowing을 활용해 집계·분기·후속 알림 흐름 구성
- JDK 호환성, 리파티셔닝, 메모리 증가 이슈를 RocksDB 설정과 보존 시간 조정으로 대응
적용해볼 점
- 실시간 이상 탐지가 필요한 로그인·보안 이벤트 처리에 Kafka Streams 적용 검토
- 상태 저장소 메모리, 커밋 주기, 윈도우 보존 시간 같은 운영 파라미터 점검
- key 변경 연산 최소화와 JMX 기반 RocksDB 모니터링으로 안정성 확보