왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기

문제 상황

• ML 벤치마크와 달리 실제 서비스에서는 비즈니스 목표에 맞는 타겟 메트릭 정의가 먼저 필요한 상황
• 잘못된 지표를 최적화하면 모델 성능이 올라가도 배포 효과가 없을 수 있는 문제
• 아이템의 여러 속성 중 어떤 것을 대표 속성으로 노출할지 결정해야 하는 전환 최적화 과제

원인 분석

• 단순 전환율 예측은 추천 로직, 유저 분포, 아이템 특성 같은 교란 요인에 취약한 구조
• 관찰된 전환율에는 노이즈가 커서 순위 지표만으로는 실제 비즈니스 임팩트를 가늠하기 어려움
• 아이템별 전환율 차이 규모가 다르지만, 기존 랭킹 지표는 이를 동일하게 취급하는 한계

해결 방법

• 랜덤하게 수집된 attribute shuffle 데이터를 활용해 같은 아이템 내 속성 간 pairwise ranking 문제로 재정의
• pairwise score 차이와 ranking loss로 학습해 더 높은 전환율을 보일 속성을 예측
• 오프라인에서는 relative mean CR lift를 도입해 배포 효과를 직접 추정하고, double-split 방식으로 최적 성능의 하한선까지 가늠