우리는 달에 가기로 했습니다. - Hybrid인프라부터 네트워크 최적화까지, 무신사 AI Infra구축기

문제 상황

• AI 트래픽과 운영 비용의 급증으로 클라우드 중심 구조의 지속 가능성 저하
• 온프레미스 GPU 수급·전력·냉방·공간 부족과 하이브리드 운영 복잡성
• AWS CNI 기반 구성의 제약, Hybrid Node와 AutoMode/Karpenter 충돌, 관측·로그 수집 부담

원인 분석

• 트레이닝·인퍼런스·재학습이 모두 지속 비용을 유발하는 AI 운영 특성
• 하이브리드 환경에서 단일 클러스터처럼 동작시키기 위한 네트워크·오브젝트·애드온 재구성 필요
• 트래픽 증가 시 tail latency와 운영 리스크가 급격히 커지는 구조

해결 방법

• 온프레미스 GPU와 AWS를 하나의 클러스터처럼 묶는 Hybrid Node 기반 운영 구조 구축
• AWS CNI를 걷어내고 Cilium eBPF, kube-proxy 대체, ALB→NLB 전환으로 지연 최적화
• OpenTelemetry 기반 로그·메트릭·트레이스 통합 수집, Gateway API Inference Extension 실험과 우선순위 라우팅 적용

성능/운영 포인트

• 하이브리드 구조로 최대 95% 비용 절감
• 블랙프라이데이 트래픽에서 1ms 오버헤드가 tail latency를 크게 악화
• 로그 전량 수집으로 하루 8TB 적재 사례, 수집 기준과 운영 제어 필요성 확인

적용해볼 점

• AI 인프라는 초기 구축보다 지속 가능성, 비용 곡선, 운영 리스크를 함께 설계할 필요
• 요청 우선순위와 라우팅 분리로 체감 품질 개선 가능성 검토
• 벤더 종속을 줄이는 플랫폼 중립적 관측·네트워크 구성 고려