데브옵스
GPU를 밀도 있게 쓰는 방법 - 토스증권의 GPU 가상화(MIG) 도입기
두줄요약
토스증권이 H100 GPU의 자원 낭비를 줄이기 위해 MIG 기반 GPU 가상화를 도입한 과정을 정리했습니다. Kubernetes 연동과 모니터링 설정까지 포함해 운영 관점의 적용 방법을 설명했습니다.
문제 상황
- H100 같은 고성능 GPU에서 작은 ML 작업이 메모리를 충분히 쓰지 못한 채 낭비되는 문제
- 전체 워크로드의 상당수가 GPU 자원을 1/4도 활용하지 못하는 운영 비효율
원인 분석
- PoC, 경량 모델, 운영 서비스 등에서 고성능·고용량 GPU가 과도하게 배정되는 구조
- 클라우드, 혼합 GPU 운영은 각각 비용, 보안, 관리 복잡성, 환경 일관성 측면의 제약 존재
해결 방법
- 하나의 GPU를 논리적으로 분할하는 MIG 기반 GPU 가상화 도입
- GPU 설정, Kubernetes nvidia-device-plugin 재배포, dcgm-exporter 설정을 함께 조정
성능/운영 포인트
- MIG 활성화 후 GPU는 인스턴스 단위로 분할되며, 메모리와 SM 자원을 독립적으로 활용
- 모니터링은 DCGM_FI_PROF_SM_ACTIVE와 메모리 지표를 인스턴스 단위로 확인
- 실행 중인 프로세스가 있으면 인스턴스 재구성 불가하므로 사전 계획 필요