금융서비스 MSA 전환기- 서버 간 비동기 메시지 기반 통신 처리(3편)
대량 트래픽과 긴 지연 API를 처리하기 위해 Kafka, Redis, SSE 기반 비동기 메시지 통신 구조로 전환했습니다.\n동기 의존성을 줄이고 Scale Out 환경에서도 Refresh 결과를 안정적으로 전달하는 설계를 적용했습니다.
#MSA#Kafka
38005분
필터 1
무신사, 2023 Databricks Data+AI 컨퍼런스에 다녀오다
무신사 테크가 Databricks Data+AI Summit 2023 참석 후기를 공유했습니다. 생성형 AI, 데이터 플랫폼, 재해복구 등 실무 인사이트를 정리했습니다.
#Databricks#LLM
31005분
쿠폰 발급 RabbitMQ도입기
Redis Worker의 한계를 보완하기 위해 RabbitMQ를 도입한 사례를 소개했습니다. 행사성 트래픽과 대량 발급 처리에서 안정성과 운영 편의성을 개선했습니다.
#RabbitMQ#Redis
38005분
클라우드 기반 SK플래닛 검색 시스템 개발
SK플래닛의 클라우드 기반 검색 시스템 구조와 주요 기능을 소개했습니다. 또한 ChatGPT 이후 대화형 검색으로의 확장 가능성을 함께 살펴봤습니다.
#Elasticsearch#AWS
15005분
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.
#Dataflow#Apache Beam
13005분
ksqlDB Deep Dive
ksqlDB를 Kafka Streams 기반의 SQL 엔진으로 소개하며 동작 원리와 아키텍처를 설명했습니다. 또한 Push Query와 Pull Query, stateful 처리와 리밸런싱 개념을 함께 정리했습니다.
#Kafka#SQL
36005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
누가 내 DB CPU를 훔쳐갔을까? (feat. debezium)
Debezium connector 재시작 때 오래된 binlog를 다시 읽으며 DB CPU가 급등한 원인을 분석했습니다. heartbeat.interval.ms를 적용해 상태 기록 주기를 보강하고 문제를 해결했습니다.
#debezium#CDC
11005분
TestContainers로 유저시나리오와 비슷한 통합테스트 만들어 보기
Testcontainers로 Kafka, PostgreSQL, Spring 앱을 함께 띄워 실제 사용자 흐름에 가까운 통합테스트를 구성했습니다. 서버 간 제약 불일치로 생길 수 있는 버그를 QA 전에 조기에 찾고, 배포 후 자동 검증까지 연결했습니다.
#TestContainers#통합테스트
27005분
청구/수납 서비스 개발기
키친보드는 식자재 시장의 현실에 맞게 청구/수납 서비스를 설계했습니다.\n미납금, 청구 없이 수납되는 상황, 대량 알림 전송 제약을 고려해 관계를 느슨하게 풀어냈습니다.
#Spring Boot#Kafka
24005분
컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
30005분
User segmentation 시스템 개발기
MSA 환경에서 유저 세그멘테이션을 위해 구체화된 뷰와 이벤트 드리븐 구조를 도입했습니다. 캐시와 동기화를 결합해 빠른 조회 성능과 장애 전파 차단을 확보했습니다.
#MSA#Kafka
21005분
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.
#BigQuery#Kafka
40005분