데브옵스
Amazon EKS에서 운영하는 자체 관리형 Agentic AI 플랫폼 : 인프라 자동화와 관측성으로 운영 안정성 확보하기
두줄요약
EKS Auto Mode와 Bifrost, Langfuse를 조합해 자체 관리형 Agentic AI 플랫폼을 구축하는 방법을 소개했습니다. 멀티모델 라우팅과 2계층 관측성으로 운영 안정성과 비용 최적화를 함께 확보했습니다.
문제 상황
- 단일 거대 LLM 중심 운영의 비용 누적, 긴 응답 지연, 환각 리스크, 민감 데이터 거버넌스 문제
- 복잡한 추론과 반복 업무를 모두 같은 모델로 처리하기 어려운 다중 모델 운영 필요성
해결 방법
- Amazon EKS Auto Mode로 GPU 인프라와 핵심 컴포넌트 자동 관리
- Bifrost AI Gateway로 vLLM 자체 호스팅 모델과 Amazon Bedrock을 단일 엔드포인트로 통합
- Langfuse로 인프라 비용 추적과 에이전트 실행·품질 추적을 분리한 2-Tier 관측성 구현
성능/운영 포인트
- Karpenter 기반 Spot 활용과 자동 consolidation으로 GPU 비용 절감과 유휴 노드 정리
- ConfigMap 기반 라우팅으로 앱 코드 변경 없이 모델 전환
- vLLM과 Bedrock 조합으로 간단한 문의의 외부 API 비용 절감