AI
서버리스 ML 훈련 인프라 구축하기: Vertex AI Pipelines & TFX
두줄요약
당근이 Vertex AI Pipelines와 TFX로 서버리스 ML 훈련 인프라를 구축한 사례를 공유했습니다. 공통 컴포넌트, 모니터링, 알림, EoS 관리로 운영 효율을 높였습니다.
핵심 내용
- 당근 ML 인프라팀의 Vertex AI Pipelines 도입 및 KFP/GKE 제거로 이어진 서버리스 ML 훈련 인프라 전환 사례
- TFX 기반 파이프라인을 Vertex AI Pipelines와 함께 사용하며 공통 컴포넌트, 커스텀 컴포넌트, 리소스 주입, 모니터링을 확장
- 아티팩트 시각화, Recurring Run, Custom Metric, Slack 알림, EoS 관리 등 운영 편의와 안정성 강화 포인트 정리
적용해볼 점
- TFX 컴포넌트를 공통 라이브러리로 묶어 조직 간 재사용성 높이기
- 파이프라인 상태와 리소스 사용량을 메트릭과 대시보드로 연결하기
- 프레임워크 EoS를 선제 점검해 프로덕션 파이프라인 위험 줄이기