Velopers

오늘 새 글

0개

오늘 조회수

122회

최근 7일 인기 글Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면채널톡 · 173회최근 30일 활발한 블로그넥스트리40개 발행 · 총 70개 · 6,702회
필터 1
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
QueryPie
백엔드

트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법

트랜잭션 롤백과 중복 조회에 의존하던 CDC의 한계를 짚고, QueryPie의 쿼리 시뮬레이션 기반 접근을 소개했습니다. DBMS 부하를 줄이면서도 변경 전후 데이터를 확보하는 구조와 효과를 설명했습니다.

#CDC#transaction
10005분
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
QueryPie
백엔드

트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법

트랜잭션 롤백에 의존하던 CDC의 성능 저하와 DBMS 종속성 문제를 다뤘습니다. QSI 기반 쿼리 시뮬레이션으로 변경 전후 데이터를 생성해 부하를 줄인 방식을 소개했습니다.

#CDC#transaction
16005분
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
QueryPie
백엔드

트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법

트랜잭션 기반 CDC의 롤백 부하와 DBMS 종속성 문제를 정리하고, QSI 쿼리 시뮬레이션으로 이를 대체하는 방법을 소개했습니다.\n트랜잭션 없이 변경 전후 데이터를 생성해 성능과 확장성을 높인 사례를 설명했습니다.

#CDC#transaction
22005분
입수는 Datalake로! (feat. Iceberg)
토스
백엔드

입수는 Datalake로! (feat. Iceberg)

Iceberg를 DataLake에 도입해 Kafka·CDC 입수와 테이블 운영을 더 효율적으로 개선했습니다. 또한 자동화된 모니터링과 유지보수로 실시간 조회와 성능 최적화를 함께 달성했습니다.

#Iceberg#Spark
41005분
Apache Iceberg와 Flink CDC 심층 탐구
카카오
백엔드

Apache Iceberg와 Flink CDC 심층 탐구

Apache Iceberg와 Flink CDC를 다루는 심층 탐구 글입니다. 발췌만으로는 구체적 내용 확인이 어려워 핵심 주제만 요약했습니다.

#Apache Iceberg#Flink
16005분
아파치 플링크와 CDC의 만남. 플링크 CDC 맛보기
카카오
기타

아파치 플링크와 CDC의 만남. 플링크 CDC 맛보기

아파치 플링크와 CDC를 함께 살펴보는 맛보기 글입니다. 데이터 취합과 일단위 지표 추출 맥락에서 주제를 소개합니다.

#Apache Flink#CDC
18005분
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
라인
백엔드

Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기

대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.

#Kafka#ETL
55005분
Headless CMS를 위한 변경 데이터 캡쳐(CDC) 기술 설계하기
라인
백엔드

Headless CMS를 위한 변경 데이터 캡쳐(CDC) 기술 설계하기

헤드리스 CMS에서 다국어와 연관 관계를 고려한 CDC 설계 경험을 공유했습니다. 순서 보장과 트랜잭션 분리를 통해 대량 변경을 안정적으로 처리했습니다.

#CDC#Headless CMS
26005분
대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정
토스
데브옵스

대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정

Debezium 기반 CDC 파이프라인의 운영 지표와 개선 방법을 정리한 글입니다. end-to-end 지연, 처리량, 확장성 개선으로 생성과 복구 시간을 줄인 사례를 소개했습니다.

#Debezium#Kafka
41005분
ksqlDB를 활용한 증권사의 실시간 데이터 처리하기
토스
백엔드

ksqlDB를 활용한 증권사의 실시간 데이터 처리하기

토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.

#Kafka#ksqlDB
24005분
Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다
무신사
백엔드

Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다

6개 도메인을 하나의 통합 모델로 옮기기 위해 Kafka, CDC, Kafka Streams 기반 마이그레이션 파이프라인을 구축했습니다. Strimzi Operator로 Kafka Connect를 관리하며 준실시간 데이터 통합과 재실행 가능성을 확보했습니다.

#Kafka#Strimzi
30005분
Oracle에서 MongoDB로의 CDC Pipeline 구축
카카오페이
백엔드

Oracle에서 MongoDB로의 CDC Pipeline 구축

Oracle에서 MongoDB로 초기 데이터 이관과 CDC 파이프라인 구축 경험을 공유했습니다. 관계형 DB에서 문서형 DB로의 변경 데이터 연동 흐름을 다뤘습니다.

#Oracle#MongoDB
24005분