혼자서도 잘해요, 검색 시스템 구축과 운영
외부 검색 솔루션의 한계를 해결하기 위해 AWS 기반 검색 파이프라인을 내부 구축했습니다. 30분이던 증분색인 주기를 1분 이내로 줄이고 운영 부담도 낮췄습니다.
#검색#AWS
20005분
필터 1
로봇을 위한 MLOps #2: 엣지 파이프라인의 구성
로봇 엣지 디바이스에서 동작하는 MLOps 파이프라인과 TensorRT 기반 추론 도구를 소개했습니다. Trtexec, TREx, Nsight Systems로 변환·시각화·성능 분석을 수행하는 흐름을 정리했습니다.
#MLOps#Airflow
25005분
로봇을 위한 MLOps #1: Edge device와 K3s, Airflow
로봇용 머신러닝 개발에서 재현성과 온프레미스 자원 관리가 왜 중요한지 설명했습니다. K3s와 Airflow로 이를 해결하는 MLOps 구성 방법을 소개했습니다.
#MLOps#K3s
28005분
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
관리형 서비스의 Airflow를 Kubernetes로 전환하며 스케줄러 CPU 과부하, 워커 OOM, 로그 누락 문제를 해결한 운영 경험을 공유했습니다. 자원 제한과 노드 분리를 통해 안정성을 높이고 비용도 줄인 사례입니다.
#Kubernetes#Airflow
33005분
데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기
데이터 파이프라인 CI 테스트 시간을 7분대에서 3분대로 줄인 개선 사례를 다뤘습니다. YAML 작성부터 PR, 배포까지의 흐름 속 병목을 줄이는 방법을 소개했습니다.
#Airflow#CI/CD
23005분
Data Product (2) AI(데이터)로 실제 운영 효율화가 가능할까?
AI 모델만으로 세차 필요 여부를 단정할 수 없어, 판단 기준과 차량 상태 정의를 다시 설계했습니다. 그 결과 세차 요청 로직을 구조화해 운영 효율과 고객 만족도를 함께 높였습니다.
#LLM#ML
12005분
DBT와 Airflow 도입하며 마주한 7가지 문제들
DBT와 Airflow를 도입하며 겪은 7가지 문제와 해결 방안을 정리했습니다. 데이터 구조화, 연동, 테스트, 백필까지 운영 관점의 설계 경험을 공유했습니다.
#DBT#Airflow
59005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Airflow Task failed Alert Mail 폭탄 회피하기
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
#Airflow#ETL
31005분
Airflow 환경 Docker compose로 containerization하기
Airflow 개발 환경을 Docker compose로 컨테이너화해 배포와 유사한 상태에서 실행·디버깅할 수 있게 구성했습니다. PyCharm 연동, Executor 분리, 설정 통합으로 개발 생산성과 관리 편의도 높였습니다.
#Airflow#Docker
29005분
원티드랩 데이터 마트 — 설립기
원티드랩의 데이터 마트 설계 과정을 ERD 작성부터 운영 규칙 정립까지 정리했습니다. BigQuery와 Airflow를 활용해 확장성과 품질을 높인 운영 방식도 소개했습니다.
#BigQuery#SQL
24005분
업데이트 압축률 67%, 플레이스 리뷰 tagging 시스템 개선경험
태깅 파이프라인을 원본 저장, 로직 분리, write buffer로 재설계해 업데이트 부하를 줄였습니다. 운영툴 통합과 수동 태그 보존으로 관리성과 안정성도 함께 높였습니다.
#Kafka#DB
34005분
로컬 Airflow on K8S 구축에 Vault 곁들이기 - Airflow 개발 환경 고도화
로컬 K8S에서 Airflow 개발 환경을 구축하고 Vault로 보안을 강화하는 내용을 다루었습니다. 개발 환경 고도화를 위해 두 기술을 함께 활용하는 흐름을 소개했습니다.
#Airflow#Kubernetes
18005분