리디의 머신러닝 파이프라인 톺아보기

핵심 내용

• 리디 데이터사이언스팀이 기존 데이터 처리·모니터링·DevOps 시스템을 활용해 머신러닝 파이프라인을 구축한 사례
• EMR, Airflow, Bazel, EKS, GitOps, Karpenter, Datadog, Slack을 연결해 학습·추론·배포·모니터링 흐름을 구성
• 추천, 어뷰징 감지, 마케팅 타게팅, 콘텐츠 제작 연구 등 서비스 전반에 머신러닝 적용
• 오프라인 성능뿐 아니라 A/B 테스트와 온라인 지표로 모델 성능을 검증하며 운영

성능/운영 포인트

• 수십만 명 규모 로그와 하루 천 개 수준 정기 파이프라인을 안정적으로 처리하는 EMR 기반 배치
• GPU 노드의 필요 시 프로비저닝과 반환을 위한 Karpenter 연동으로 비용 절감
• Datadog, Slack, 페이저로 배치 실패와 서빙 지표를 실시간 감시

적용해볼 점

• 새로운 MLOps 도구 도입보다 기존 인프라 재활용으로 커스터마이징 비용 절감
• 모델 개발부터 배포, 테스트, 모니터링까지 자동화해 실험 속도와 운영 안정성 향상