Spark Streaming을 활용한 파생 데이터 생성 시간 감축 사례
Hive 배치 기반 파생 데이터 생성 지연 문제를 Spark Streaming으로 실시간 처리하도록 전환한 사례를 소개했습니다. Kafka 오프셋과 처리량, LAG 모니터링으로 안정적인 운영 방법도 함께 설명했습니다.
#Spark Streaming#Kafka
39005분
필터 1
카프카 커넥트와 오프셋 관리(1)
카프카 커넥트의 개념과 동작 방식을 소개하고, JDBC와 HDFS 커넥터로 파이프라인을 구성하는 흐름을 설명했습니다. 3.5 버전의 오프셋 관리 기능은 다음 글에서 이어서 다룬다고 예고했습니다.
#Kafka#REST API
21005분
Kafka 메시지 중복 및 유실 케이스별 해결 방법
Kafka 메시지 중복과 유실을 Producer, Consumer, MSK 운영 구간별로 나누어 해결 방법을 정리했습니다. AWS MSK 환경에서 설정과 운영 포인트를 함께 점검할 수 있는 글입니다.
#Kafka#AWS
56005분
B2B를 위한 인가 체계 구축기: 워크스페이스 프로젝트
엔터프라이즈 확장에 맞춰 워크스페이스 기반 인가 체계를 재설계한 사례를 소개했습니다. RBAC와 중앙 집중형 인가 서비스, CDC 동기화로 복잡성과 운영 리스크를 줄였습니다.
#인가#RBAC
33005분
ksqlDB 실시간 Join으로 뉴스 추천 만들기
ksqlDB Join으로 뉴스탭 로그와 유저 클러스터 정보를 실시간 결합해 추천용 데이터를 만들었습니다. 외부 DB 조회를 줄이고 파티션과 조인 키를 맞춰 정확한 실시간 처리를 보장했습니다.
#ksqlDB#Kafka
30005분
오픈소스 Trino를 활용한 전사 데이터 분석 시스템 구축기
SK플래닛이 오픈소스 Trino를 전사 분석 엔진으로 도입해 실시간 데이터 조회 환경을 구축했습니다. 운영계 데이터 접근성과 소용량 쿼리 성능을 높이고 리포트 주기도 단축했습니다.
#Trino#Kafka
37005분
Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기
대용량 이미지 데이터를 MySQL에서 MongoDB로 마이그레이션한 경험을 공유했습니다. Kafka, ETL, CDC를 조합해 동기화와 샤딩 최적화, 안정적 전환까지 진행했습니다.
#Kafka#ETL
55005분
다이내믹 스크래핑과 전월세대출 이동제의 실행
토스뱅크가 전월세대출과 대환 프로세스의 복잡한 수기 운영을 자동화로 개선한 사례를 소개했습니다. 다이내믹 스크래핑, LUMOS, 상태·사가 패턴으로 재시도와 롤백 가능한 구조를 만들었습니다.
#Kotlin#전략패턴
22005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
전세대출에서 대외기관 신용정보를 조회하는 방법
전세대출 신용정보 조회를 MSA와 Redis, Kafka 기반으로 개선한 사례를 소개했습니다. 불필요한 폴링과 DB 적재를 줄이고 처리 속도와 장애 격리를 향상했습니다.
#Spring Boot#Kotlin
33005분
모델 서빙 관리 도구 SELDON-CORE
Seldon Core를 이용한 모델 서빙 관리와 배포 흐름을 소개했습니다. Kubernetes 환경에서 모니터링과 A/B 테스트까지 함께 고려할 수 있었습니다.
#Kubernetes#ML
32005분
당근페이 금융 거래 내역 Aggregator 개발기
당근페이는 여러 금융 서비스의 거래 내역을 한 화면에서 보여주기 위해 Aggregator를 도입했습니다. 목록 조회는 병렬 호출과 Pagination으로, 상세 조회는 Token으로 통합했습니다.
#Kotlin#MSA
37005분
애셋팀 레거시 개선 (2) 쏘카존 관리 시스템 - 차량재배치 리팩터링
쏘카의 차량재배치 레거시를 Kinesis에서 Kafka로 옮기며 책임을 분리한 리팩터링 사례를 다뤘습니다. 상태별 처리와 테스트코드를 정리해 유지보수성과 변경 안전성을 높였습니다.
#Kotlin#Spring Boot
40005분