개인화 추천 시스템 1편 - 유저의 행동은 “언어”일까? : Collaborative Embedding 구축기 (feat. Knowledge Distillation)

핵심 내용

• 커머스 추천에서 상품 속성(Content)과 유저 취향(Collaborative)을 분리해 해석하는 개인화 추천 시스템 구축 사례
• 상품 텍스트를 RQ-VAE로 Semantic ID로 압축해 상품의 언어를 정의하고, Transformer 기반 인코더로 행동 시퀀스를 임베딩화
• Generative Head와 Retrieval Head를 함께 학습하고 Knowledge Distillation으로 정확도와 서빙 속도 간 트레이드오프 개선
• 주문 순서, 인기 편향, 네거티브 샘플링 문제를 데이터 엔지니어링으로 보정한 뒤 오프라인·A/B 테스트·CRM에서 성과 검증

적용해볼 점

• 텍스트 기반 상품 표현과 행동 기반 유저 표현을 분리한 추천 설계
• 고비용 생성형 예측과 고속 검색형 예측을 결합한 듀얼 헤드 구조
• 증류와 샘플링 보정으로 롱테일·콜드스타트·False Negative 문제 완화