데브옵스
Amazon EKS에서 Friendli Container로 LLM 추론 최적화하기
두줄요약
Amazon EKS에 Friendli Container Add-on을 적용해 LLM 추론 성능과 비용 효율을 높이는 방법을 소개했습니다. 클러스터 준비부터 배포, 검증, 정리까지의 절차를 단계별로 안내했습니다.
핵심 내용
- Amazon EKS에 Friendli Container Amazon EKS Add-on을 붙여 LLM 추론을 최적화하는 방법 소개
- GPU 사용량 절감, 지연시간 개선, 처리량 향상을 목표로 하는 Friendli Container와 EKS의 역할 정리
- EKS 클러스터 준비, Add-on 구독, Pod Identity 연결, FriendliDeployment 배포, 정리까지의 절차 안내
적용해볼 점
- GPU 노드 그룹과 Kubernetes 1.28 이상 준비
- Hugging Face 비공개 모델용 Secret과 nodeSelector, GPU 리소스 설정 조정
- kubectl apply, port-forward, curl로 추론 서비스 동작 확인