AI 플랫폼 GPU 도입부터 Kubeflow까지 도입기
카카오페이는 반복 수작업을 줄이기 위해 Kubeflow 기반 AI 플랫폼을 구축했습니다.\nH200 GPU, 하이브리드 클러스터, MIG로 성능과 자원 효율을 함께 다듬었습니다.
#Kubeflow#Kubernetes
79005분
필터 1
HPC를 여행하는 히치하이커를 위한 안내서 Part 1.
AI 모델 개발에서 GPU를 효율적으로 쓰기 위한 HPC의 필요성과 기본 구성요소를 설명했습니다. Slurm, 공유 스토리지, 컨테이너를 통해 대규모 학습 환경을 일관되게 운영하는 방법을 소개했습니다.
#HPC#GPU
32005분
XRDP로 헤드리스 GPU 서버에 원격 GUI 접속하기
헤드리스 GPU 서버에 원격 GUI가 필요할 때 XRDP로 Ubuntu를 설정하는 방법을 정리했습니다. Mac의 Windows App으로 XFCE 데스크톱에 접속해 관리와 디버깅을 수행하는 흐름을 소개했습니다.
#XRDP#Ubuntu
85005분
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
Ray를 활용해 GPU Util 100% 배치 처리와 확장 가능한 모델 서빙 아키텍처를 소개했습니다. Ray Serve와 vLLM 기반 LLM 추론 파이프라인 및 운영 사례도 다뤘습니다.
#Ray#MLOps
233005분
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
대규모 Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링을 적용한 사례를 소개했습니다. 기본 HPA보다 고도화된 GPU orchestration과 KEDA 활용 배경을 공유했습니다.
#Kubernetes#오토스케일링
91005분
NVIDIA Dynamo: 차세대 분산 추론 프레임워크 리뷰
NVIDIA Dynamo는 분산 추론을 위한 오픈 소스 프레임워크로, Prefill·Decode 분리와 스마트 라우팅으로 성능을 높였습니다.\nKV cache 오프로딩과 NIXL 전송을 통해 GPU 자원 효율과 지연 시간 개선을 노렸습니다.
#LLM#Kubernetes
67005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
효율적 시맨틱 검색을 위한 kubernetes GPU inference 시스템 구축하기
Kubernetes에 GPU 기반 Triton 추론 서버를 구축해 시맨틱 검색을 실시간으로 처리한 사례를 정리했습니다. ONNX 최적화와 배치·모니터링·배포 자동화로 성능과 운영 효율을 높였습니다.
#Kubernetes#GPU
62005분
Hugging Face API로 배우는 GPU 친화적 모델 학습
Hugging Face API를 활용해 GPU에서 딥러닝 모델을 학습하는 흐름과 메모리 사용 구조를 설명했습니다. 또한 Gradient Accumulation, Checkpointing, LoRA, QLoRA로 메모리를 줄이는 방법을 소개했습니다.
#Hugging Face#ML
102005분
GPU 서버 대여, 이것 몰랐다간 후회합니다! (FAQ 총정리)
GPU 서버호스팅의 개념과 장점을 FAQ 중심으로 정리했습니다. 도입 전 궁금한 권한, 요금, 사양, 지원 범위를 함께 안내했습니다.
#GPU#ML
144005분
효율적인 GPU 메모리 사용을 위한 여러 기법
GPU 메모리 사용을 줄이기 위한 그레이디언트 누적, 체크포인팅, ZeRO, LoRA, QLoRA를 정리했습니다. 각 기법이 절감하는 메모리 영역과 적용 효과를 예시와 함께 설명했습니다.
#GPU#ML
40005분
차세대 HBM이라고 나타난 CXL 무엇일까?
CXL의 개념과 PCIe 기반 동작, 메모리 풀링·캐시 일관성 같은 특징을 정리했습니다. AI 연산 시스템과 데이터센터에서 메모리 확장성과 효율을 높이는 활용 가능성도 소개했습니다.
#CXL#ML
19005분
엘리스 그룹, 나의 AI 선생님의 이야기
엘리스그룹의 설립 배경과 AI 교육·실습 플랫폼, 클라우드, 평가 서비스 등을 소개했습니다. 또한 오프라인 교육 공간과 최근 소식, 채용 정보도 함께 정리했습니다.
#교육 플랫폼#cloud
19005분