AI
AI 플랫폼 GPU 도입부터 Kubeflow까지 도입기
두줄요약
카카오페이는 반복 수작업을 줄이기 위해 Kubeflow 기반 AI 플랫폼을 구축했습니다.\nH200 GPU, 하이브리드 클러스터, MIG로 성능과 자원 효율을 함께 다듬었습니다.
문제 상황
- 내부 개발자의 AI 활용과 서비스 적용을 지원하는 플랫폼 부재
- 모델 학습, 레지스트리 등록, 이미지 빌드, GPU 서버 배포까지 사람 손이 많이 드는 레거시 서빙 흐름
- 반복 수작업으로 인한 개발 속도 저하와 서비스 안정성 저해
원인 분석
- 기존 프로세스의 단계별 수동 개입 구조
- 온프레미스 IDC 환경과 금융 서비스 특유의 운영 제약
- 확장성, 장기 운영 안정성, 통합 경험에 대한 기존 도구의 한계
해결 방법
- 쿠버네티스 기반 Kubeflow를 AI 플랫폼의 핵심으로 채택
- 파이프라인과 컨테이너 기반 표준화로 실행 환경 일관성 확보
- 온프레미스 하이브리드 클러스터, Infiniband/RDMA, H200 GPU, MIG 도입으로 성능과 자원 효율 개선
트레이드오프
- Knative의 Scale to Zero는 비용 효율적이지만 콜드 스타트 지연이 과도함
- 비용 최적화보다 서비스 응답 속도와 안정성을 우선해 minReplicas 1 유지 선택
성능/운영 포인트
- GPU 사용량과 유휴 자원, 모델별 리소스 사용 현황을 모니터링
- 학습/추론, 모델 특성, 모델 크기 기준으로 MIG 인스턴스 분할 전략 수립
- 데이터 기반으로 GPU 자원 할당과 분할 시나리오를 지속 개선