AI
모델 서빙 관리 도구 SELDON-CORE
두줄요약
Seldon Core를 이용한 모델 서빙 관리와 배포 흐름을 소개했습니다. Kubernetes 환경에서 모니터링과 A/B 테스트까지 함께 고려할 수 있었습니다.
핵심 내용
- Seldon Core를 활용한 머신러닝 모델 서빙 관리 도구 소개
- 모델을 컨테이너 이미지로 배포하고 Kubernetes에서 SeldonDeployment로 운영하는 흐름
- 모델 버전 관리, 성능 모니터링, 배포 전략, A/B 테스트 지원
- scikit-learn 예제와 함께 Triton, TensorRT, ONNX 등 다양한 프레임워크 적용 가능성 언급
적용해볼 점
- Kubernetes 기반 ML 서비스에서 모델 서빙 표준화 검토
- Prometheus, Kafka, ELK 연계로 모니터링 체계 구성
- Iter8 기반 A/B 테스트로 여러 모델 버전 비교