AI
아자르에서 AI 기반 추천 모델의 타겟 지표를 설정하는 방법 (feat. 아하 모멘트)
두줄요약
아자르가 추천 모델의 목표를 리텐션으로 두고 아하 모멘트 기반으로 1차 지표를 찾는 과정을 소개했습니다. 세그먼트 분석과 A/B 테스트를 통해 신규·기존 사용자 모두에서 유효한 지표를 검증했습니다.
핵심 내용
- 아자르의 AI 추천 모델 목표를 클릭률 같은 1차 지표가 아닌 리텐션 개선으로 설정
- 신규 사용자의 아하 모멘트를 찾기 위해 가입 첫 24시간 행동을 후보로 두고, 행동 유형과 수행 빈도를 조합해 분석
- PR 커브 형태의 정밀도·재현율 비교로 리텐션과의 상관관계를 좁힌 뒤, 세그먼트 분할과 A/B 테스트로 인과관계 검증
- 신규 사용자에서 유효했던 1차 지표를 기존 사용자에도 적용해 리텐션 개선을 확인