데브옵스
Kurly만의 MLOps 구축하기 - 초석 다지기
두줄요약
컬리의 MLOps 구축 초기에 GPU 노드 자동화와 Karpenter 도입 과정을 소개했습니다. NVDP, affinity, consolidation 이슈까지 포함해 운영 포인트를 정리했습니다.
핵심 내용
- 컬리 데이터 플랫폼팀이 MLOps 플랫폼 구축의 출발점으로 GPU 사용 환경을 정비한 과정
- 기존 Kubernetes 기반 도구들(Airflow, JupyterHub, MLFlow) 위에 GPU 프로비저닝과 자동 해제를 더하려는 배경
- Karpenter를 선택해 EC2/ASG 중심 노드 확장보다 단순하고 빠른 워커 노드 자동화 구조를 구성한 내용
- GPU 노드 사용을 위해 NVDP 설치, 노드가 남는 문제를 막기 위한 affinity 설정, consolidation 사용 시 CRD 업그레이드 필요성 정리
적용해볼 점
- GPU 같은 고가 자원은 요청·회수 과정을 자동화해 운영 부담을 줄이는 방향 검토
- 노드 자동 확장 도구 선택 시 기존 ASG 방식과 Karpenter의 구조 차이 비교
- GPU 노드가 일반 파드에 점유되지 않도록 label과 affinity 정책을 함께 설계