AI
밑바닥부터 시작하는 추천시스템 with Kubeflow
두줄요약
Kubeflow로 추천 시스템의 데이터 수집, 학습, 서빙, 튜닝까지 전체 흐름을 구성한 사례를 소개했습니다. 오프라인 추론 전환과 파이프라인 자동화로 응답 속도와 운영 효율을 개선했습니다.
문제 상황
- 기존 구매 수량 기반 추천만으로는 사용자 장·단기 선호를 반영하기 어려운 한계
- SaaS 추천 서비스는 비즈니스 로직을 유연하게 반영하기 어려워 자체 구축으로 전환
구조와 흐름
- Kafka와 이벤트 워커로 사용자 이벤트 수집 후 HBase 저장, Airflow와 Cquery로 전처리
- Matrix Factorization 기반 추천 모델을 Kubeflow 파이프라인으로 학습·배포
- FastAPI와 KServe로 서빙하고, Katib으로 하이퍼파라미터 튜닝 자동화
성능/운영 포인트
- 오프라인 추론으로 전환해 실시간 추론 부담을 줄이고 응답 속도를 약 10배 개선
- NDCG와 MAP으로 추천 리스트의 노출 순서를 중심 평가
- Kubeflow Pipelines로 재현성과 관리 효율 향상
적용해볼 점
- 추천 문제의 초기 단계에서는 SQL 기반 연관상품 추천도 충분한 대안
- ML 시스템은 모델보다 외부 파이프라인과 운영 복잡도가 더 큰 비중 차지