초당 100만 건, LINE 앱에 Apache Kafka 종단 간 암호화 적용기
LINE 메신저의 대규모 Kafka 토픽에 종단 간 암호화를 적용한 설계와 운영 경험을 공유했습니다. 공유 KEK, 평문 폴백, 점진적 배포로 무중단 전환과 낮은 성능 오버헤드를 달성했습니다.
#Apache Kafka#보안
165005분
필터 1
CDC 파이프라인을 Debezium과 Flink로 재설계한 이유
NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.
#Debezium#Apache Flink
2005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync
토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.
#Apache Kafka#Active-Active
30005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #1
토스증권의 Kafka 데이터센터 이중화 개요를 소개하며 Active-Active와 Stretched Cluster를 비교했습니다. 가용성과 성능을 고려해 Active-Active를 선택하고 DNS와 Offset Sync 전략을 설명했습니다.
#Apache Kafka#Kafka
164005분
실시간 광고 사용자 ID 매핑
실시간 광고 사용자 ID 매핑 시스템의 설계와 처리 흐름을 소개했습니다. Kafka, Spark, gRPC, ZooKeeper와 트리 기반 매핑 알고리즘으로 확장성과 유연성을 확보한 사례입니다.
#gRPC#Spark Structured Streaming
22005분
엔지니어링 프로젝트 임팩트 산정하기
데이터 엔지니어링 프로젝트의 임팩트를 원화로 환산한 사례를 소개했습니다. 작업 리소스와 영향 범위를 기준으로 산정하는 접근법을 정리했습니다.
#Apache Kafka#ECS
11005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Confluent Schema Registry 도입기!
요기요는 MSA 환경에서 분산된 데이터를 통합하기 위해 Confluent Schema Registry를 도입했습니다.\nSubjectNameStrategy 3종과 multiple type event 적용 이슈를 Pilot 경험을 바탕으로 정리했습니다.
#Confluent#Schema Registry
33005분