로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
#BigQuery#Kafka
36005분
필터 1
Kafka Message Conversion (Serial/Deserializing)
Kafka 소비 시 JSON 역직렬화 설정이 왜 기대대로 동작하지 않는지 과정을 따라가며 분석했습니다. 헤더 타입 정보와 타입 매핑, trusted packages, target type 우선순위를 조정해 해결했습니다.
#Kafka#Spring Boot
48005분
카나리 배포 도입과 상품 유닛의 쓱데이 대응기
쓱데이 트래픽 대응을 위해 상품 유닛에 카나리 배포를 도입한 경험을 공유했습니다. 성능 개선 작업과 함께 조기 장애 감지와 롤백의 중요성을 강조했습니다.
#카나리 배포#Java
44005분
데이터카탈로그에서 DataHub를 이용하는 방법
DataHub를 그대로 노출하지 않고 OpenSearch와 DB를 직접 활용해 데이터카탈로그에 맞는 검색·리니지·BI 통합 기능을 구현했습니다. 또한 버전업과 수집 성능 문제를 개선해 운영 적합성을 높였습니다.
#DataHub#EKS
121005분
Flink SQL 도입기
이벤트 스트리밍 처리를 위해 Flink SQL을 도입한 사례와 선택 이유를 정리했습니다. 또한 Kubernetes 기반 HA 구성, GitOps 배포, 운영 중 트러블슈팅과 모니터링 포인트를 공유했습니다.
#Flink SQL#Kafka
39005분
Reliable SIP Registration Management Using Redis Keyspace Events
Redis 키스페이스 이벤트로 SIP 등록 갱신 타이머를 영속화해 서버 재시작에도 등록 누락을 줄였습니다. 대규모 환경에서는 보조 키, Goalkeeper, Redis 클러스터 확장과 hz 튜닝으로 안정성을 높였습니다.
#Redis#Kafka
20005분
물류의 물짜도 모르던 OMS PM의 OMS 구축기
OMS의 목적과 역할을 재정의하며 TAM 통합과 주문 분배 계획 단일화를 이끈 구축기입니다. 수기 업무를 줄이고 CAPA 기반 자동화로 운영 생산성을 높이는 과정을 다뤘습니다.
#OMS#물류
52005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
비동기 메시지 가시화 파티가 1년 간 개발 문화를 바꾼 방법
비동기 메시지 규약이 제각각이라 추적과 유지보수가 어려운 문제를 길드 활동으로 해결했습니다. AsyncAPI와 Code-Gen 도구 WAAX를 도입해 문서화, 정적 검증, 가시화를 함께 개선했습니다.
#MSA#AsyncAPI
34005분
Spring Cloud Stream 도입하기
Spring Cloud Stream으로 데이터 추출과 조합 파이프라인을 구성한 사례를 소개했습니다. 멀티 모듈과 Function 규격화를 통해 확장성과 결합도 개선 방향도 제시했습니다.
#Spring Cloud Stream#Kotlin
41005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
#Kafka#Kubernetes
37005분
MSA 기반 미디어 업로드 고도화: 람다 함수 구조 변경으로 유지보수성 향상
MSA 기반 미디어 업로드 구조를 재설계해 람다 간 복잡한 호출과 분기 코드를 줄였습니다. 또한 DynamoDB, DocumentDB, Step Functions, Kafka를 활용해 유지보수성을 높였습니다.
#MSA#AWS Lambda
26005분
카프카 컨슈머에 동적 쓰로틀링 적용하기
카프카 컨슈머 처리량을 외부 DB 부하에 맞춰 동적으로 조절하는 방법을 다뤘습니다. Thread.sleep()의 한계와 pause()/resume()을 활용한 리밸런싱 회피 방식을 설명했습니다.
#Kafka#Spring Boot
108005분