데브옵스
Amazon SageMaker HyperPod의 오토스케일링 알아보기
두줄요약
SageMaker HyperPod에 Karpenter 기반 관리형 노드 오토스케일링이 추가되었습니다. KEDA와 함께 사용해 추론·학습 워크로드를 메트릭 기반으로 탄력적으로 확장할 수 있습니다.
핵심 내용
- Amazon SageMaker HyperPod에 Karpenter 기반 관리형 노드 오토스케일링 추가
- 수요에 따라 GPU 노드와 추론/학습 클러스터를 탄력적으로 확장·축소하는 방식
- 관리형 설치·업데이트·유지보수, 제로 스케일링, 지능형 인스턴스 선택, 노드 통합 제공
- KEDA와 결합해 메트릭 기반 파드 오토스케일링과 노드 오토스케일링을 함께 구성하는 방법 소개
적용해볼 점
- HyperPod EKS 클러스터에서 AutoScaling과 Karpenter 활성화 확인
- HyperpodNodeClass와 NodePool로 인스턴스 유형과 가용 영역 제약 정의
- 추론 워크로드에 KEDA ScaledObject를 연결해 요청량 기반 스케일링 구성