AI
Kubeflow Pipeline 소개 및 사용기
두줄요약
Kubeflow Pipelines의 구조와 주요 기능, 운영 개념을 소개한 글입니다. 다만 반복 실행 실패 대응과 파라미터 전달은 아쉬웠다고 정리했습니다.
핵심 내용
- Kubeflow의 Kubernetes 기반 ML 워크플로우 플랫폼 성격
- Kubeflow Pipelines의 코드 기반 파이프라인 정의, 재사용 가능한 컴포넌트, 시각화 UI
- Runs, Executions, Experiments, Recurring Runs 개념과 운영 방식
주의할 점
- Recurring Runs 실패 시 후속 조치와 알람 기능의 부족
- Execution 간 파라미터 전달의 매끄럽지 못한 부분
- Airflow 경험이 있으면 운영 편의성 차이가 더 두드러질 수 있음
적용해볼 점
- 반복적인 ML 작업의 주기적 자동 실행
- 실험 결과와 실행 이력의 체계적 관리
- 외부 애드온과 버전 업에 따른 기능 개선 기대