Amazon Athena + Quicksight 사용한 데이터 시각화
S3 데이터를 Athena로 분석하고 QuickSight로 시각화하는 간단한 과정을 정리했습니다. 스키마 변경과 데이터 추가 반영 사례까지 함께 다뤘습니다.
#AWS#Athena
42005분
필터 1
AWS Athena를 이용하여 ELB 액세스 로그 분석하는 방법
AWS Athena로 ELB 액세스 로그를 조회하기 위한 테이블 생성과 파티션 프로젝션 설정 방법을 소개했습니다. 특정 IP와 기간 조건으로 로그를 분석하는 쿼리 예시도 함께 정리했습니다.
#AWS#Athena
49005분
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
#AWS Glue#SAP
46005분
당근마켓 웹 플랫폼 외전 — 레거시 시스템 안전하게 제거하기
로컬 웹뷰의 잔존 트래픽과 하위 호환성 문제를 계측한 뒤, Cloudflare Workers로 호환 동작을 이전하며 안전하게 폐기했습니다. 분산된 정책과 AWS 리소스를 단일 스크립트로 통합해 유지보수성과 온보딩 부담도 줄였습니다.
#webview#AWS
53005분
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 효율적으로 저장·조회하기 위한 OVEN의 설계와 운영 방안을 소개했습니다. S3 연동, 경로 기반 파티셔닝, Bloom Filter로 비용과 조회 성능을 개선했습니다.
#보안#S3
9005분
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 S3 기반 HotStore/ColdStore 구조로 저장·조회하는 방법을 소개했습니다. Athena 연동과 Bloom Filter로 비용과 조회 성능을 함께 개선했습니다.
#보안#규정 준수
13005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 HotStore와 ColdStore로 분리해 효율적으로 저장하고 조회하는 구조를 소개했습니다. S3, Athena, Bloom Filter를 활용해 비용과 연동 복잡도를 줄이는 방안을 설명했습니다.
#S3#Athena
28005분
랭킹 시스템 개편기
기존 오라클 프로시저 기반 랭킹 시스템의 확장성과 운영 비효율을 해결하기 위해 신규 아키텍처를 설계했습니다. AWS Glue, Athena, Step Function을 활용해 서버리스 랭킹 파이프라인을 구성했습니다.
#AWS Glue#Athena
20005분
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.
#MySQL#S3
12005분
Serilog를 통해 애플리케이션 데이터를 수집하고 분석하자
Serilog로 구조화 로그를 만들고 S3에 적재한 뒤 Athena와 Glue로 분석하는 방법을 소개했습니다. 분산 환경의 로그를 SQL로 조회·JOIN하는 활용 예시도 함께 다뤘습니다.
#Serilog#S3
29005분