백엔드
함께 구매하면 좋은 상품이에요! - 장바구니 추천 개발기 2부
두줄요약
실시간 장바구니 추천 모델을 위한 서빙 아키텍처와 운영 체계를 소개했습니다. TorchServe, Kubernetes, ArgoCD, MLOps와 모니터링 적용 사례를 정리했습니다.
구조와 흐름
- 실시간 장바구니 추천 모델 서빙을 위한 아키텍처 구성
- 서비스 API, 모델 API, MLOps, 모니터링, 배포 과정으로 분리한 운영 구조
- AWS EKS, GCP, BigQuery, Datadog, Slack을 활용한 데이터·관측 연동
선택 이유
- 서비스 API에서 fallback, A/B 테스트, 후처리, 로깅을 담당해 확장성과 분석성 확보
- BentoML과 TorchServe를 비교한 뒤, PyTorch 기반 모델과 응답시간 측면에서 TorchServe 채택
- 모델 학습·배포 자동화와 운영 편의성을 위해 Kubeflow, MLFlow, ArgoCD, Image Updater 활용
성능/운영 포인트
- CPU Clock Speed가 TorchServe 지연시간 개선에 핵심 요소로 확인
- GracefulShutdown, preStop Hook, terminationGracePeriodSeconds, ALB idle timeout 조합으로 무중단 배포 보완
- StartupProbe 기반 warm up으로 첫 요청 지연 완화, Datadog 로그 필터링으로 운영 관측 효율화
적용해볼 점
- 모델 서빙은 프레임워크 기능보다 실제 지표와 배포 환경을 함께 검증할 필요
- 로그 적재와 메트릭 수집 경로를 초기에 설계해 실시간 분석 가능성 확보 필요
- 모델 레포와 서빙 레포 분리, GitOps 기반 배포 흐름으로 운영 복잡도 감소