AI
무신사의 AI 기반 상품 추천 및 검색 시스템 구현 사례
두줄요약
무신사는 스냅 이미지와 자연어를 활용한 AI 추천·검색 프로토타입을 AWS 기반으로 구현했습니다. 실제 데이터 평가에서 높은 정확도를 보였지만, 일부 이미지 조건에서는 한계도 확인했습니다.
문제 상황
- 스냅 이미지에서 착용 아이템을 정확히 식별하기 어려운 패션 도메인 특성
- 키워드 기반 분류만으로는 유사 상품 추천과 자연어 검색의 한계
구조와 흐름
- S3, Lambda, SageMaker Endpoint를 연결해 이미지 기반 검출과 임베딩 처리 구성
- OpenSearch 벡터 검색으로 유사 상품 및 인플루언서 콘텐츠 검색
- API Gateway, Step Functions, Bedrock을 활용해 자연어 질의 재작성과 텍스트 임베딩 오케스트레이션
선택 이유
- YOLOS-Fashionpedia로 복잡한 배경과 다양한 포즈에서도 패션 객체 검출 강화
- FashionCLIP 2.0으로 이미지·텍스트를 같은 벡터 공간에 임베딩해 멀티모달 검색 지원
성능/운영 포인트
- 테스트 데이터에서 Precision@1 72%, Precision@5 81%, MRR 0.76 확인
- 단색 기본 아이템, 가림, 비표준 각도, 낮은 해상도에서 인식 정확도 저하
적용해볼 점
- 복수 이미지 기반 멀티뷰 임베딩 검토
- 스타일 맥락 보존을 위한 조건 기반 필터링 필요
- 크롭 범위 보정과 객체 검출 보완으로 추천 품질 개선 가능