AI
AWS 관리형 서비스를 활용한 실시간 지능형 뉴스 기반 주가 영향도 분석 시스템
두줄요약
AWS 관리형 서비스로 뉴스와 주가를 실시간 결합해 분석하는 스트리밍 아키텍처를 소개했습니다. Flink, Bedrock, MSK, S3를 연동해 감정 분석과 시계열 분석 흐름을 구성했습니다.
핵심 내용
- AWS 관리형 서비스로 뉴스-주가 상관관계 실시간 분석 시스템을 구축하는 방법 소개
- Amazon MSF, MSK, Bedrock, Firehose, S3를 조합해 뉴스 수집, 감정 분석, 주식 데이터 조인, 결과 적재 흐름 구성
- Flink의 record-by-record 처리, event time, watermark, interval join으로 저빈도 뉴스와 고빈도 주가 스트림 결합
- UDF로 Bedrock LLM을 호출해 뉴스 요약·감정 분석을 수행하고, 분석 결과를 Kafka와 S3로 연계
적용해볼 점
- 뉴스 발생 전후 일정 시간의 주가 변동을 실시간으로 묶어 분석하는 스트리밍 파이프라인 설계
- 관리형 서비스 활용으로 운영 부담을 줄이면서 실시간 분석과 후속 배치 분석을 함께 연결
- 워터마크와 이벤트 시간 기준 조인으로 지연 데이터와 메모리 사용을 통제