데브옵스
효율적 시맨틱 검색을 위한 kubernetes GPU inference 시스템 구축하기
두줄요약
Kubernetes에 GPU 기반 Triton 추론 서버를 구축해 시맨틱 검색을 실시간으로 처리한 사례를 정리했습니다. ONNX 최적화와 배치·모니터링·배포 자동화로 성능과 운영 효율을 높였습니다.
핵심 내용
- 시맨틱 검색을 실시간으로 처리하기 위한 GPU 기반 추론 서버를 Kubernetes에 구축한 사례
- NVIDIA Triton Inference Server와 ONNX 변환을 활용해 모델 서빙, 최적화, 하드웨어 가속을 통합
- dynamic batching, multi-instance, S3 모델 저장소, Prometheus/Grafana 모니터링으로 운영 효율과 확장성 확보
구조와 흐름
- HTTP/gRPC 요청을 Triton이 받아 스케줄러와 배치 처리로 GPU 추론 수행
- Kubernetes 클러스터의 GPU 노드에서 모델을 배포하고, S3에서 모델 저장소를 참조
- Argo Workflow로 모델 추가·교체, regression 테스트와 rollout 절차를 자동화
성능/운영 포인트
- GPU 1장 기준으로 동시 호출 증가에 따른 처리량과 지연 시간 변화를 성능 테스트로 검증
- podAntiAffinity, nodeSelector, tolerations로 GPU 서빙 파드의 배치와 전용 노드 사용을 제어
- readinessProbe, minReadySeconds, terminationGracePeriodSeconds로 준비 상태와 안전한 종료를 관리
적용해볼 점
- 실시간 추론이 필요한 검색 서비스에 GPU 추론 서버와 모델 최적화 조합을 검토
- 모델 포맷 표준화와 배포 자동화를 통해 운영 복잡도와 교체 비용을 줄이는 방향을 고려