Iceberg는 정말 싸고 빠를까? – 운영 데이터 5가지 벤치마크 솔직한 결과
실제 운영 데이터로 Iceberg와 Hive를 비교해 비용과 속도 차이를 검증했습니다. 큰 테이블부터 옮기고 SQL 패턴을 바꿔야 효과가 커졌습니다.
#Apache Iceberg#Athena
35005분
필터 1
Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지
Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.
#Apache Iceberg#Airflow
11005분
당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
200개 이상 DB를 BigQuery로 옮기던 ELT 운영 문제를 DT Platform으로 분리·표준화했습니다. UI와 DSL, 자동 마이그레이션으로 리드타임과 리뷰 병목을 줄였습니다.
#ELT#ETL
147005분
Apache Airflow 3.x Dag Parsing 최적화 체크리스트
Airflow DAG 파싱 최적화는 메트릭 기반 측정과 설정 튜닝, 코드 위생 점검이 핵심입니다. 특히 Airflow 3.x의 설정 이동과 ignore 문법 변경을 함께 확인해야 했습니다.
#Airflow#dag-processor
37205분
Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기
Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.
#Apache Flink#RocksDB
98005분
Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구
Astronomer Agents는 Airflow API와 로그를 활용해 Dag 개발, 테스트, 디버깅을 돕는 AI 도구입니다. 또한 마이그레이션과 데이터 분석까지 지원해 운영 효율을 높였습니다.
#Airflow#LLM
71005분
처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기
운영 DB 중심 분석의 한계를 넘기 위해 S3, Athena, Airflow, dbt 기반 데이터 환경을 구축했습니다.\nAI skill로 소스 연결, 모델링, 문서화를 자동화하며 실무 생산성을 높였습니다.
#Athena#Airflow
36005분
Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구
Astronomer Agents로 Airflow 작업의 작성, 테스트, 디버깅 방식이 달라질 수 있음을 소개했습니다. 또한 마이그레이션과 데이터 웨어하우스 분석까지 지원하는 핵심 기능을 설명했습니다.
#Airflow#Claude
114005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Standardizing User Activation: How We Built a Shared Data Layer at Karrot
카라트는 사용자 활성화 분석을 공통 Activation Layer로 표준화했습니다. 팀별 ad hoc 쿼리 대신 DBT 기반 모델로 신뢰성과 운영 안정성을 높였습니다.
#DBT#Airflow
73005분
당근은 왜 User Activation을 전사 공통 데이터 레이어로 만들었을까?
당근이 User Activation을 전사 공통 데이터 레이어로 만든 배경과 구조를 설명했습니다. 상태와 전이 분석을 위해 신뢰성, 비용, 생산성을 함께 고려한 설계였습니다.
#DBT#Airflow
125005분
사업자 데이터 리터러시 높이기: BC Monthly Report 발행기
토스 Business Data Team이 사업자 데이터를 통합해 SSOT 마트를 만들고 월간 리포트를 발행한 과정을 공유했습니다. 전사 지표를 맞추고 인사이트를 제공해 데이터 활용과 리터러시를 높인 사례입니다.
#데이터 리터러시#데이터 마트
40005분
Mapping Karrot’s Data: How We Built Column-Level Lineage
Karrot 데이터팀이 BigQuery SQL 로그를 파싱해 컬럼 단위 데이터 계보를 구축한 과정을 소개했습니다. 테이블 단위 한계를 보완하고 영향 분석과 PII 추적을 정교하게 만든 사례입니다.
#BigQuery#SQL
40005분