다나와 웹 트래픽 로그 데이터 분석 시스템 도입기
다나와 웹 트래픽 로그 분석용 내부 서비스를 도입한 과정을 정리했습니다. 유비쿼터스 언어 정리부터 Opensearch 선택, 필터링과 검증까지의 흐름을 설명했습니다.
#Elasticsearch#AWS
20005분
필터 1
다나와의 상품 색인 파이프라인
다나와 상품 색인 파이프라인을 logstash로 이관해 유지보수성을 높이고 MQ 의존성을 줄였습니다. 1G 로그 처리 테스트에서는 기존 대비 처리 시간이 크게 줄어 성능 개선도 확인했습니다.
#Elasticsearch#Logstash
20005분
클라우드 기반 SK플래닛 검색 시스템 개발
SK플래닛의 클라우드 기반 검색 시스템 구조와 주요 기능을 소개했습니다. 또한 ChatGPT 이후 대화형 검색으로의 확장 가능성을 함께 살펴봤습니다.
#Elasticsearch#AWS
15005분
SK플래닛 클라우드 기반 검색 시스템
SK플래닛의 Elasticsearch 기반 공용 검색 시스템 구조와 기능을 소개했습니다. 또한 ChatGPT 이후 대화형 검색으로의 확장 가능성을 함께 살펴보았습니다.
#Elasticsearch#AWS
18005분
핑크퐁의 통합 데이터 환경 구축기 (feat. Snowflake)
데이터 소스가 분산된 환경에서 Snowflake 중심의 통합 데이터 플랫폼을 구축한 사례입니다.\n로그 수집부터 분석까지 파이프라인을 단순화하고 운영 효율을 높였습니다.
#Snowflake#AWS Kinesis
61005분
고객의 목소리를 한 눈에 볼 수 있도록: 무신사의 VoC 대시보드 제작기 Part2. by 검색플랫폼팀
무신사 VoC를 자동 분류하기 위해 키워드 기반 접근과 AWS Comprehend를 함께 적용했습니다. 또한 Google 시트와 대시보드를 연결해 실무자가 바로 활용할 수 있는 리포팅 페이지를 만들었습니다.
#Elasticsearch#AWS
28005분
Elasticsearch 3TB의 인덱스를 reindex 하는 방법
Elasticsearch 대용량 인덱스 reindex에서 속도와 안정성을 높이는 설정 조정 사례를 다뤘습니다. replica 분리, refresh 비활성화, throttling과 복구 속도 제한으로 장애를 줄였습니다.
#Elasticsearch#reindex
25005분
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Elasticsearch Search After 성능 체크
Elasticsearch의 페이지네이션 방식으로 Scroll API와 Search After를 비교해 성능을 점검했습니다. 대용량 조회에서는 병렬 처리와 PIT 조합이 중요하며, 사용 목적에 따라 방식을 선택해야 했습니다.
#Elasticsearch#Search After
26005분
ICT인턴십 후기
ICT 인턴십에서 백엔드 실무, 서비스 분석, 기술 세미나를 경험한 후기입니다. 실서비스를 다루며 테스트와 정확한 분석의 중요성을 배웠습니다.
#Django#Elasticsearch
59005분
Mecab과 Nori, Fastcat 플러그인 색인 성능 비교
Elasticsearch 한국어 분석기 Mecab-Ko, Nori, Fastcat의 색인 성능을 비교했습니다. 사전 수를 줄이면 색인 시간이 줄어들고, Nori는 상대적으로 느렸습니다.
#Elasticsearch#검색
28005분
엘라스틱서치를 활용한 수평 확장 가능한 광고 서버 만들기
리워드 광고 플랫폼 성장에 따라 MySQL 기반 광고 서버의 수평 확장 한계가 드러났습니다. 이를 해결하기 위해 엘라스틱서치로 전환해 타게팅과 송출 구조를 개선했습니다.
#Elasticsearch#MySQL
21005분