Velopers

오늘 새 글

0개

오늘 조회수

113회

최근 7일 인기 글Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면채널톡 · 173회최근 30일 활발한 블로그넥스트리40개 발행 · 총 70개 · 6,702회
필터 1
SageMaker AI로 해보는 GPT-OSS 추론 성능 테스트와 용량 산정
AWS
AI

SageMaker AI로 해보는 GPT-OSS 추론 성능 테스트와 용량 산정

SageMaker AI에서 GPT-OSS 120B 추론 성능 테스트와 GPU 용량 산정 방법을 다뤘습니다. vLLM과 SGLang을 비교하며 워크로드별 성능 지표와 최적화 포인트를 정리했습니다.

#SageMaker AI#LLM
69005분