Velopers
모든 태그
태그

Kafka 기술 블로그 글

Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 237개최신 20개 표시
홈에서 필터

관련 태그

#모니터링267#Redis161#AWS663#Kubernetes435#cache143#MSA140#MySQL100#OpenStack20#OVN2#IPFIX2#Goflow22#throughput2

최신 게시글

20개 표시

아키텍처

[기술사례] OVN ACL Flow Sampling 기반 VPC Flow Log 서비스 개발

OVN ACL Flow Sampling을 활용해 VPC Flow Log 서비스를 개발한 사례를 다뤘습니다. 로컬 I/O 부담을 줄이고 OVSDB 캐시로 메타데이터를 결합해 고속 로깅 구조를 구현했습니다.

#OVN#IPFIX#Kafka
200

프론트엔드

토스의 디바이스 팜 만들기

팀마다 각자 관리하던 실기기 환경을 사내 디바이스 팜 네뷸라로 통합한 과정을 소개했습니다. Appium 대신 자체 드라이버와 실시간 미러링 구조로 속도와 운영성을 높였습니다.

#node.js#API#Kafka
6000

백엔드

사람은 떠났는데 권한은 남았다

관계 원천과 인가 튜플을 Outbox·CDC·Kafka로 동기화해 잔존 권한 문제를 줄이는 구성을 다뤘습니다. 부분 실패, 캐시, 감사 이력까지 함께 고려한 운영 포인트도 정리했습니다.

#Kafka#CDC#Outbox
1900

데브옵스

Grafana Mimir에 Kafka를 도입하기 전 미리 알았다면

Grafana Mimir에 Kafka 기반 ingest-storage architecture를 도입한 경험과 운영상의 함정을 정리했습니다. partition과 ingester ordinal의 1:1 결합, backlog replay, scale-in 절차가 핵심 포인트였습니다.

#Grafana Mimir#Kafka#Kubernetes
17300

데브옵스

[구축사례] IPFIX와 Goflow2로 구현한 kt cloud Network 미터링 내재화

OVN 전환으로 기존 미터링 방식이 막히자 IPFIX와 Goflow2로 새 과금 계측 체계를 구축했습니다. 로컬 캐시 매핑과 자원 격리로 정확도와 성능을 함께 확보했습니다.

#IPFIX#Goflow2#OVN
900

아키텍처

천만 MAU를 지탱하는 커뮤니티 시스템을 소개해요

천만 MAU를 버티기 위한 커뮤니티 시스템의 구조와 선택을 소개했습니다. 웹앱과 서버앱, 모듈과 이벤트 분리로 확장성과 운영성을 함께 확보한 사례입니다.

#MSA#모듈형 모놀리스#Redis
12501

백엔드

순서대로, 한 번만, 빠르게

Airbridge는 Kafka 이벤트 처리에서 마이크로 배치 병목을 줄이기 위해 Differential 구조를 도입했습니다. 순서 보장과 중복 방지를 유지하면서 처리 속도를 10배 이상 높였습니다.

#Kafka#gRPC#event
3900

아키텍처

더 빠르게, 그리고 무너지지 않게 — 전시 아키텍처 개선기 (1/3)

전시 상품 API의 Redis 병목과 캐시 단일 의존 문제를 구조적으로 개선했습니다. Kafka CDC, 병렬 처리, 다단계 조회로 더 빠르고 무너지지 않는 서빙 구조를 만들었습니다.

#Redis#MongoDB#Kafka
4000

기타

산업용 IoT의 표준, MQTT

산업용 IoT에서 MQTT의 Publish/Subscribe 구조와 QoS, Topic 기반 관리 방식을 소개했습니다.\n제한된 네트워크 환경에서도 확장성과 실시간성을 확보하는 활용 포인트를 정리했습니다.

#MQTT#IoT#Edge Computing
3600

백엔드

옴니채널 재고 정합성 한계에 대응하는 인벤토리 데이터 파이프라인 구축기

옴니채널 재고 정합성과 확장성 문제를 해결하기 위해 인벤토리 데이터 파이프라인을 이벤트 기반으로 재설계했습니다. Spring Batch, Kafka Fan-Out, Push/Pull 분리로 리드타임과 부하를 줄였습니다.

#Kafka#Spring Batch#AWS
14300

백엔드

설문 관리 서비스 구현 사례

의료 설문 플랫폼에서 설문 정의와 수집을 담당하는 서비스를 헥사고날 구조와 CQRS로 설계했습니다. Master/Snapshot, Kafka, Outbox 등을 적용해 정합성과 운영 안정성을 확보했습니다.

#Java#Spring Boot#Kafka
1300

데브옵스

[인프라를 소프트웨어처럼 2/5] 코드가 모르는 그 '환경'은 누가 만드는가

플랫폼팀이 코드 바깥의 환경 실체를 선언으로 만드는 방식을 설명했습니다. Kafka 토픽 선언과 검증, 추적 가능한 거버넌스 사례를 다뤘습니다.

#Terraform#YAML#JSON Schema
800

데브옵스

Flava DBaaS 딥다이브: 아키텍처부터 마이그레이션, 그리고 미래까지

Flava DBaaS의 쿠버네티스 기반 아키텍처와 운영 구조를 소개했습니다. 또한 마이그레이션 도구와 서버리스, AI 기반 확장 방향까지 설명했습니다.

#Kubernetes#DBaaS#MySQL
1900

백엔드

광고 성과 데이터 StarRocks 도입기

MySQL 기반 광고 성과 집계의 확장성과 안정성 문제를 해결하기 위해 StarRocks를 도입했습니다.\n외부 원천, MV 설계, 아키텍처 전환으로 부하 분리와 복구 편의성을 확보했습니다.

#Starrocks#MySQL#Kafka
29200

백엔드

Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지

Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.

#Apache Iceberg#Airflow#Spark
1100

기타

운영하지 않는 Kafka, EasyQueue를 소개합니다

X

#Kafka
18300

기타

플랫폼은 왜 계속 다시 설계되어야 할까 - Server Platform Team 이야기

서버 플랫폼 팀이 조직 성장에 맞춰 플랫폼을 계속 재설계하는 이유를 소개했습니다. AI 시대의 분석·개발·운영 변화와 그에 따른 가드레일까지 함께 다뤘습니다.

#SRE#CI/CD#Argo
8900

데브옵스

KBO 리그 이닝 교체 때 광고 요청 견뎌내기

KBO 리그 이닝 교체 때 몰리는 광고 요청을 분산하기 위해 prefetching과 내부 캐시 구조를 적용했습니다. 그 결과 외부 광고 서버 부하와 지연을 줄이고 버퍼링 지표도 개선했습니다.

#AWS#Kafka#cache
2900

백엔드

카프카 파티션 개수 산정식 설계 여정

Kafka 파티션 수를 처리량과 컨슈머 catch-up 기준으로 계산하는 산정식을 정리했습니다. 운영 환경 실측값을 반영해 토픽별 초기 파티션 수를 일관되게 정하는 방법을 제안했습니다.

#Kafka#partition#throughput
700

백엔드

카프카 파티션 개수 산정식 설계 여정

카프카 파티션 수를 정하는 산정식과 기준값을 설계한 과정을 정리했습니다. 프로듀서 처리량, 컨슈머 catch-up, 운영 한도를 함께 고려해 초기 파티션 수 판단 기준을 제안했습니다.

#Kafka#partitions#throughput
18400