A/B Testing - Sampling부터 Interpretation까지

안녕하세요. 모바일 첫화면 미디어 플랫폼 버즈빌의 Business Intelligence Manager Elia 입니다. 저희 버즈빌에서는 여타 모바일 환경에서 작업하는 회사와 마찬가지로 무수히 많은 a/b 테스팅을 통해 프로덕트를 개선하고 있습니다. 이번 포스팅에서는 a/b 테스팅을 실제로 수행할 때 주로 발생하는 궁금증에 대해서 경험적으로 느낀 바를 공유하려 합니다. 먼저 이 글을 써야겠다고 생각하게 된 것은, 옆자리에 앉은 PM Jim의 질문에서 시작되었습니다. &ldquoa/b 테스팅할 때, 샘플 사이즈를 어떻게 정해요?" 이 질문은 스타트업 관련, 데이터 관련 컨퍼런스에서 항상 등장하는 주제라서, 한 번 정리해 보면 (hopefully) 많은 사람들한테