크몽에서 A/B Test 하는 법 (2)

크몽에서 A/B Test 하는 법2 안녕하세요! 크몽 안드로이드 앱 개발자 인트입니다. 1편에서는 에밀리께서 A/B Test 소개, 테스트 결정 기준, iOS에서는 어떻게 개발하고 있는지 소개해주셨는데요! 이어서 제가 안드로이드 앱에서는 어떻게 개발하고 있고, 테스트 결과를 팀에서 어떤 식으로 분석 및 개선하고 있는지 이야기해보겠습니다. 모바일에서 A/B Test하는 법 — Android버전 Remote Config를 어떤 방식으로 설정하고 있는지는 1편에서 자세히 소개해주셨으므로, 안드로이드 앱을 개발할 때는 어떻게 사용하고 있는지 간단히 설명하도록하겠습니다. 안드로이드에서도 Firebase Remote Config를 사용합니다. 사용자가 앱을 실행했을 때 지정된 페이지(테스트하려고 하는 화면으로 이동하기 전, 사용자가 반드시 거치는 페이지)에서 Remote Config를 fetch합니다. Fetch가 완료되면 앱 내에 SharedPreference로 저장해두었다가, 사용해야 할 시점에 불러와 각 플래그에 맞는 UI를 구성합니다. 그리고 테스트 코드는 추후 삭제하거나 발전시켜야 하는 코드이므로 주석을 꼼꼼하게달아줍니다. 그런데 위의 방식대로 앱 실행 시 플래그를 저장해 테스트를 구성한다면, 지정된 사용자에게 테스트하기에는 모호해진다는 이슈가 발생합니다. 모든 사용자가 타겟이 될 수 있기 때문입니다. 하지만 Firebase A/B Testing Tool을 이용해 사용자를 타겟팅하거나 활성화 이벤트를 추가한다면, 원하는 사용자에게 원하는 시점에 테스트를 진행할 수있습니다. 크몽 안드로이드 앱 버전 5.3.1 사용자 50% 중 ab_test_sample_event가 발생한 사용자가 타겟이 되는Test 위 이미지에서 볼 수 있듯이, 사용자를 여러 기준으로 타겟팅해서 테스트를 진행할 수 있습니다. 아무래도 가장 자주 사용하는 것은 앱 버전과 활성화이벤트입니다. 하지만 타겟팅을 좁게 한다면 그만큼 사용자의 수도 줄어들기 때문에 원하는 목표만큼의 테스트 결과를 모으기도 쉽지 않습니다. 그래서 어떤 테스트를 진행할지 논의하는 것도 중요하지만, 테스트 방향이 결정되고 테스트를 설계하는 단계도 정말 정말중요합니다. 카테고리 에자일팀에서의 Test 결과 및 적용방안 1) 명확한 개선사항을 찾았을경우 A/B Test 결과 Variant(Test Case)가 우수한 확률로 명확히 개선되었다면, 망설임 없이 Test Case를 적용합니다. 타겟팅 된 사용자의 범위도 꼼꼼히 체크해야 합니다. 테스트를 경험하지 않은 사용자도 자연스럽고 명확하게 개선안을 이해할 수 있어야 하기 때문입니다. 적용하려고 검토하다 보니 타겟팅 된 사용자의 수가 적었다면, 타겟팅 사용자의 범위를 넓혀서 한 번 더 테스트해보는 것도 좋은 선택이라고생각합니다. 2) 적용 가능한 개선사항을 찾았을경우 A/B Test 결과 Variant(Test Case)가 기준보다 우수한 확률이 높지만 명확하다고 보기엔 애매한 경우도 있습니다. 이 경우엔 먼저 각 플랫폼별로 비교합니다. 대체로 모든 플랫폼에서 기존보다 우수하다고 예상된다면 개선안을 적용합니다. 하지만, 어느 한 플랫폼에서만 우수한 확률이 나온다면 일단 테스트를 종료하고, Test Case를 보완 후 적용하거나 다시 한번 테스트를진행합니다. 3) 기준보다 우수한 대안이 없는경우 A/B Test 결과 Test Case보다 기존 Case가 더 우수할 경우입니다. 꽤 적지 않은 시간 동안 테스트를 설계하고 개발하는 데 공을 들였지만 이러한 결과가 나온다면 굉장히 오묘한 기분이 들곤 합니다. 이 경우가 가장 난감한 케이스라고 할 수 있습니다. 뚜렷한 개선 방향을 잡을 수 없기 때문에, 그동안 진행해왔던 테스트를 종료하고 테스트 방향을 과감히 바꾸거나 Test Case에 포함되었던 개선 사항들을 기존 Case에 반영해보면서 절충안을찾아봅니다. 지난 2020년 한 해 동안, 정말 많은 A/B Test를 진행했습니다. 결과가 뚜렷하게 보이는 경우도 있었고, 판단하기 애매한 경우도 있었습니다. A안과 B안을 두고 테스트를 계획하면서, 팀의 모든 사람이 B안이 더 결과가 좋을 것이다! 라며 기대했던 테스트임에도 사용자는 A안을 선호하는 결과가 나오기도 했습니다. 여러 가지 시행착오를 거치면서도 쌓여가는 유의미한 데이터들을 보며 뿌듯하기도 했습니다. 이전에는 개발을 어떻게 하면 효율적으로 할 수 있을까? 를 고민했다면, 요즘엔 그와 더불어 어떻게 하면 유의미한 테스트를 진행할 수 있을까? 고민하는 시간도 많아졌습니다. 그만큼 사용자 입장에서 생각하고 행동을 이해하기 위한 시간도 많이 필요했습니다. 그동안의 노력으로 2021년에는 조금 더 좋은 테스트를 할 수 있기를 기대하며 글을 마무리하겠습니다. 크몽에서 A/B Test 하는 법 (2) was originally published in kmong on Medium, where people are continuing the conversation by highlighting and responding to this story.