필터 1
Spring 트랜잭션 동기화로 레거시 알림톡 발송 시스템 한계 넘어서기
올리브영
백엔드

Spring 트랜잭션 동기화로 레거시 알림톡 발송 시스템 한계 넘어서기

레거시 알림톡 발송을 트랜잭션 커밋 이후 Kafka 기반 구조로 분리했습니다. 데이터 정합성과 확장성을 높이며 공통 발송 체계를 만들었습니다.

#Spring#Kafka
342005분
일 41TB, 200억 건의 로그를 ClickStack으로 실시간 처리하기 - 호그와트 도서관 프로젝트
카카오페이
데브옵스

일 41TB, 200억 건의 로그를 ClickStack으로 실시간 처리하기 - 호그와트 도서관 프로젝트

OpenTelemetry와 ClickHouse로 대용량 로그 파이프라인을 다시 설계한 사례를 소개했습니다. 하루 41TB 로그를 20초 이내 처리하고 비용을 크게 줄인 과정을 정리했습니다.

#ClickHouse#OpenTelemetry
143005분
오프라인 매장에 코드를 배포하다 Part 1: 종이 없는 매장을 만드는 데이터 파이프라인 구축
올리브영
백엔드

오프라인 매장에 코드를 배포하다 Part 1: 종이 없는 매장을 만드는 데이터 파이프라인 구축

오프라인 매장의 종이라벨을 전자라벨로 전환하며 메시지 기반 데이터 파이프라인을 구축했습니다. 비동기 동기화와 중앙 관제로 운영 효율과 데이터 일관성을 높였습니다.

#Kotlin#Spring Boot
89005분
무신사
백엔드

“이번 달도 밤샘 정산입니다.” — 정산 시스템은 어떻게 만들었을까 (실전편)

정산 도메인의 특성에 맞춰 이벤트 처리와 배치 처리를 분리한 하이브리드 구조를 설명했습니다. Kafka, Spring Batch, Argo Workflow로 실패와 재처리를 전제로 한 정산 시스템을 구현했습니다.

#Kotlin#Spring Boot
202005분
무신사
아키텍처

“이번 달도 밤샘 정산입니다.” — 정산 시스템은 왜 필요했을까 (설계편)

정산을 사람의 기억이 아닌 시스템의 책임으로 옮기기 위한 MASS 설계 원칙을 다뤘습니다. 멱등성, 결정적 계산, 고정 반올림으로 재처리와 재계산에도 동일한 결과를 보장했습니다.

#Kafka#Spring Batch
133005분
컬리의 입고 시스템이 외부 인입 데이터를 안전하게 동기화하는 방법
마켓컬리
백엔드

컬리의 입고 시스템이 외부 인입 데이터를 안전하게 동기화하는 방법

외부 채널 입고 정보를 안전하게 동기화하기 위해 아웃박스 패턴과 재시도 토픽을 적용한 사례를 소개했습니다. Spring Kafka와 Namastack Outbox로 원자성, 재시도, 실패 알림을 정리했습니다.

#Spring Boot#Kafka
161005분
[VOD] re:COMMIT 오늘부터 스타트업 개발자입니다: 서비스 설계에서 놓치기 쉬운 것들
구름
기타

[VOD] re:COMMIT 오늘부터 스타트업 개발자입니다: 서비스 설계에서 놓치기 쉬운 것들

스타트업 개발자가 서비스 설계에서 마주하는 핵심 의사결정 포인트를 다룹니다. 가상의 SNS 설계를 통해 기술 선택과 운영 관점을 함께 살펴봅니다.

#node.js#Spring Boot
35005분
올리브영의 실시간 캠페인 타겟팅을 위한 CDC 전환기
올리브영
데브옵스

올리브영의 실시간 캠페인 타겟팅을 위한 CDC 전환기

ODI 배치 기반 캠페인 동기화를 OGG와 Kafka 기반 CDC로 전환한 사례를 다뤘습니다. 메시지 순서 문제는 Retry, DLT, 복구 배치로 보완했고 실시간 정합성과 운영 모니터링을 강화했습니다.

#CDC#Kafka
113005분
여기어때
백엔드

공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]

도메인별로 분산 운영되던 8개 Kafka 클러스터를 공통 Kafka로 통합하는 전환 과정을 정리했습니다. MirrorMaker2 기반 점진 전환으로 서비스 영향 없이 데이터 일관성과 Offset을 유지했습니다.

#Kafka#MirrorMaker2
59005분
네이버 D2
데브옵스

비용, 성능, 안정성을 목표로 한 지능형 로그 파이프라인 도입

네이버 Logiss의 로그 파이프라인 운영 문제와 개선 과정을 다뤘습니다. Storm Kafka spout 수정과 멀티 토폴로지 도입으로 비용·성능·안정성을 높이려 했습니다.

#Kafka#Storm
114005분
여기어때
데브옵스

OpenTelemetry와 Kafka를 활용한 안정적인 Observability 구축기

OpenTelemetry와 Kafka를 활용해 마이크로서비스 환경의 Observability 파이프라인을 구축한 사례를 소개했습니다.\n자동 계측, 중앙 Collector, Signal별 분리로 안정성과 확장성을 높였습니다.

#OpenTelemetry#Kafka
84005분
당근마켓
데브옵스

당근 검색 엔진, 쿠버네티스로 쉽게 운영하기 2편 — 데이터 노드 웜업 적용

Elasticsearch 데이터 노드 재시작 시 캐시 미적재로 레이턴시가 급증하는 문제를 다뤘습니다. search-coordinator와 웜업 절차로 배포 중에도 안정적으로 트래픽을 받도록 개선했습니다.

#쿠버네티스#Elasticsearch
100005분