로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
#BigQuery#Kafka
36005분
필터 1
(Airflow #1) 데이터 엔지니어들이 선택하는 Apache Airflow 소개
X
#Airflow
29005분
데이터카탈로그 PM이 ‘데이터 디스커버리’라는 가치를 풀어내는 방법
데이터카탈로그를 통해 데이터 디스커버리를 검색, 미리보기, 리니지의 3단계로 풀어낸 사례를 소개했습니다. 데이터 찾기뿐 아니라 이해와 신뢰 확보까지 연결하는 방향을 제시했습니다.
#검색#데이터베이스
49005분
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
쏘카 데이터 엔지니어링팀 합류 후 온보딩과 프로젝트, 온콜 경험을 회고한 글입니다. 체계적인 문서화와 협업 문화가 실무 적응에 큰 도움이 되었다고 정리했습니다.
#Kubernetes#Airflow
32005분
[DAN 24] 검색과 피드의 만남: LLM으로 완성하는 초개인화 서비스 ② 사용자 검색 의도 세분화
검색어와 문서를 함께 고려해 사용자 의도를 세분화하는 LLM 기반 모델을 설계했습니다. 이를 통해 추천의 맥락 정확도를 높이고 CTR도 개선했습니다.
#LLM#검색
35005분
FDS에 지속 성장하는 ML 모델 적용 이야기
카카오페이 FDS에 지속 성장하는 ML을 적용해 급변하는 사고 패턴에 대응한 사례를 소개했습니다. 지속적 학습과 자가 적응 피처로 신규 유형 사고 탐지 성능을 높였습니다.
#ML#MLOps
44005분
당근페이 재무 결산 사례로 보는 백엔드와 데이터의 만남
매월 반복되던 재무 결산을 Spring Batch와 코드 중심 구조에서 Airflow와 dbt 기반 데이터 파이프라인으로 전환했습니다. SQL 수정만으로 결산 대응이 가능해져 유연성과 가시성을 높였습니다.
#Airflow#dbt
41005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Airflow로 펀드 배치 시스템 완벽 구축하기
카카오뱅크가 퍼블릭 클라우드에 펀드 시스템을 구축한 사례를 소개했습니다. Airflow로 금융 규제를 충족하며 배치 작업을 효율화한 과정을 다뤘습니다.
#Airflow#batch
30005분
입수는 Datalake로! (feat. Iceberg)
Iceberg를 DataLake에 도입해 Kafka·CDC 입수와 테이블 운영을 더 효율적으로 개선했습니다. 또한 자동화된 모니터링과 유지보수로 실시간 조회와 성능 최적화를 함께 달성했습니다.
#Iceberg#Spark
41005분
Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Hive 배치 기반 파생 데이터 생성 지연 문제를 Spark Streaming으로 실시간 처리하도록 전환한 사례를 소개했습니다. Kafka 오프셋과 처리량, LAG 모니터링으로 안정적인 운영 방법도 함께 설명했습니다.
#Spark Streaming#Kafka
39005분
FAST: 데이터 파이프라인 이제는 웹에서
웹 기반 배치 생성 툴 FAST로 데이터 파이프라인 작성 과정을 단순화했습니다. 비개발자도 입력값만 채워 Airflow 배치를 만들고, 운영 공수도 줄였습니다.
#Airflow#pipeline
33005분
Kubeflow Pipeline 소개 및 사용기
Kubeflow Pipelines의 구조와 주요 기능, 운영 개념을 소개한 글입니다. 다만 반복 실행 실패 대응과 파라미터 전달은 아쉬웠다고 정리했습니다.
#Kubeflow#Kubernetes
21005분