Velopers 홈

오늘 새 글

0개

오늘 조회수

152회

필터 1

2024년 7월 23일

백엔드

Headless CMS를 위한 변경 데이터 캡쳐(CDC) 기술 설계하기

헤드리스 CMS에서 다국어와 연관 관계를 고려한 CDC 설계 경험을 공유했습니다. 순서 보장과 트랜잭션 분리를 통해 대량 변경을 안정적으로 처리했습니다.

대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정

Debezium 기반 CDC 파이프라인의 운영 지표와 개선 방법을 정리한 글입니다. end-to-end 지연, 처리량, 확장성 개선으로 생성과 복구 시간을 줄인 사례를 소개했습니다.

ksqlDB를 활용한 증권사의 실시간 데이터 처리하기

토스증권이 실시간 데이터 처리 플랫폼으로 ksqlDB를 선택한 이유와 운영 경험을 소개했습니다. 동시 접속 집계, 이상 탐지, CDC 조인, ML feature 생성 사례와 함께 장단점도 정리했습니다.

우리는 어떻게 해외주식 서비스 안정화를 이뤘는가

해외주식 서비스의 브로커 지연과 데이터 병목 문제를 트래픽 제어, 자동 failover, MongoDB 도입으로 개선했습니다. 정규장 피크와 서비스 성장에 맞춰 기존 도구를 활용한 운영 안정화 사례를 소개했습니다.

Redis Stream 적용기

Redis Stream으로 session_id 히스토리 적재를 분리해 트래픽 급증 시 지연 문제를 해소했습니다. Pub/Sub의 한계를 피하면서도 병렬 처리와 pending 재처리로 운영 안정성을 확보했습니다.

Redis Stream 적용기

Redis Stream으로 session_id 적재 로직을 분리해 트래픽 급증 시 발생하던 처리 지연을 해소했습니다. Consumer group, ACK, pending 재처리를 함께 적용해 안정성을 높였습니다.

서버리스에서 쿠버네티스로 - Airflow 운영 경험기

관리형 서비스의 Airflow를 Kubernetes로 전환하며 스케줄러 CPU 과부하, 워커 OOM, 로그 누락 문제를 해결한 운영 경험을 공유했습니다. 자원 제한과 노드 분리를 통해 안정성을 높이고 비용도 줄인 사례입니다.

#Kubernetes#Airflow

33005분

Velopers 추천광고

쿠팡 파트너스

개발자를 위한 인기 상품을 확인해 보세요

이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

#개발자#노트북#컴퓨터

2024년 7월 8일

백엔드

Kafka 토픽 발행으로 Mysql 부하 줄이기

광고팀 MySQL 장애의 원인을 추천 API와 광고 서버 간 직접 호출 구조에서 찾았습니다. Kafka 토픽 발행으로 비동기화해 MySQL 부하를 줄이는 방향을 다뤘습니다.

Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다

6개 도메인을 하나의 통합 모델로 옮기기 위해 Kafka, CDC, Kafka Streams 기반 마이그레이션 파이프라인을 구축했습니다. Strimzi Operator로 Kafka Connect를 관리하며 준실시간 데이터 통합과 재실행 가능성을 확보했습니다.

실시간 반응형 추천 개발 일지 #1. 프로젝트 소개

배민 검색 홈 추천에 실시간 행동 이력을 반영하는 추천 시스템을 소개했습니다. 3개 컴포넌트로 구성해 CTR과 주문전환율을 높였습니다.

FMS(Fleet Management System) 주행이벤트 파이프라인 개선기

주행 이벤트 파이프라인에서 데이터 순서 보장과 대량 IoT 트래픽 처리를 위해 구조를 두 차례 개선했습니다. Kafka, NoSQL, 멱등성 설계로 비동기 실시간 처리와 정합성을 높였습니다.

실시간 광고 사용자 ID 매핑

실시간 광고 사용자 ID 매핑 시스템과 그 설계 과정을 다룬 발표 세션을 공개했습니다. gRPC, Spark Structured Streaming, Kafka를 활용한 마이크로서비스 구성과 그래프 기반 매핑 방식을 소개했습니다.

#gRPC#Spark

32005분