점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.
#MySQL#S3
12005분
필터 1
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
분석 데이터를 프로덕션에서 쉽게 쓰기 위한 데이터서빙 서비스 구축 과정을 소개합니다. 분석 테이블을 API로 제공하기 위해 S3, Airflow, Spark 등을 활용했습니다.
#S3#Airflow
19005분
AWS로 서버 구성 시 고려해 볼 만한 것들
AWS 서버 구성 시 함께 고려할 항목들을 도메인, 로드밸런서, 오토스케일링 중심으로 정리했습니다.\n실무 적용을 위한 기본 절차와 테스트 서버 활용 팁도 함께 소개했습니다.
#AWS#Elastic Load Balancer
23005분
AWS Lambda Image Resize 도입기
S3 업로드를 트리거로 AWS Lambda 이미지 리사이징을 구성한 사례를 정리했습니다. 무한 업로드 방지와 메모리 조정 같은 운영상 주의점도 함께 다뤘습니다.
#AWS Lambda#S3
44005분
클라우드 서비스 사용량 관리를 통한 운영 비용 최적화
클라우드 사용량을 체계적으로 분석하고 도메인 팀과 협업해 운영 비용을 최적화한 사례를 다루었습니다. 비프로덕션 자동화, 인스턴스 조정, 스토리지 전환으로 큰 폭의 비용 절감 효과를 거두었습니다.
#AWS#S3
22005분
Cloud expenditure optimization for cost efficiency
쿠팡은 재무와 엔지니어링 협업으로 클라우드 지출 최적화 체계를 만들었습니다. 중앙팀과 분석 대시보드, 인프라 전환으로 대규모 비용 절감을 이끌었습니다.
#AWS#cloud
11005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Serilog를 통해 애플리케이션 데이터를 수집하고 분석하자
Serilog로 구조화 로그를 만들고 S3에 적재한 뒤 Athena와 Glue로 분석하는 방법을 소개했습니다. 분산 환경의 로그를 SQL로 조회·JOIN하는 활용 예시도 함께 다뤘습니다.
#Serilog#S3
29005분
Python asyncio를 활용한 효율적인 광고 데이터 수집
파이썬 asyncio의 동작 원리와 멀티스레딩 대비 장점을 설명했습니다. 광고 데이터 수집 서비스에서 asyncio로 효율과 자원 사용을 개선한 사례도 소개했습니다.
#Python#asyncio
23005분
브랜디 ML팀의 Change Point Detection (CPD) 모델 도입기
커머스 시계열 지표의 급변을 자동 감지하기 위해 온라인 CPD와 SDAR 기반 모델을 도입했습니다. Airflow와 Glue로 ETL·알림 파이프라인을 구성해 Slack 경보까지 연결했습니다.
#ML#AWS
36005분
Kurly만의 MLOps 구축하기 - 쿠브플로우 도입기
쿠브플로우 도입 배경과 세이지메이커 비교, 그리고 운영을 위한 초기 설정 팁을 정리했습니다. 데이터 사이언티스트 친화적인 MLOps 환경을 만들기 위한 실무 사례를 소개했습니다.
#Kubeflow#MLOps
30005분
AWS Systems Manager의 Session Manager를 이용하여 프라이빗 환경의 서버 접근통제 구현
AWS Systems Manager의 Session Manager로 프라이빗 환경 서버 접근통제를 구현하는 방법을 다뤘습니다. 사전 조건부터 엔드포인트, EC2, IAM, S3 로깅 설정까지 구성 흐름을 정리했습니다.
#AWS#EC2
25005분
실전에서 AWS Lambda 적극 활용해본 이야기
AWS Lambda와 S3 Trigger를 활용해 PDF 분리와 QR 코드 인식을 비동기 처리 구조로 구성했습니다. 기존 Python 코드를 재사용하면서 불필요한 서버 통신과 운영 부담을 줄였습니다.
#AWS Lambda#S3
20005분