월간 데이터리안 세미나 11월의 리뷰입니다.
“스타트업의 현실은 통장의 잔액이 떨어지기 전에 제품/시장 궁합을 어떻게든 달성하기 위해 달리는 경주와 같다.”
<인스파이어드>에서는 스타트업을 위와 같이 정의합니다. 스타트업은 본인들의 제품이 시장의 수요와 맞는지 끊임없이 확인을 해야하죠. 이러한 맥락으로 스타트업에게 A/B 테스트는 필수적인 과정입니다.
1. 직관만 믿고 까불었다가 망한 PM의 사연
1부에서는 데이터분석가에서 PM으로 커리어를 전환하신 Demi님의 강의였습니다. Demi님은 중고거래 서비스 회사에서 일을 하고 계시는 현직자이십니다.
중고거래 서비스는 전문 셀러가 물건을 판매하는 오픈마켓과는 다른 특성을 가지고 있습니다. 한 거래자가 하나 혹은 소량의 물품을 판매하는 경우가 많습니다. 그리고 제목과 키워드를 모호하게 설정하는 경우도 많죠.
이러한 이유 때문에 일반적인 이커머스와는 달리, 유저가 필요한 물건을 찾기까지 탐색해야하는 정보가 많습니다.
그래서 필터링 기능이 매우 중요했습니다. 그리고 Demi님께서는 이와 관련된 A/B 테스트를 진행하였습니다. 자세한 내용은 <직관만 믿고 까불었다가 망한 PM의 사연>을 통해 확인하실 수 있습니다.
처음에 Demi님은 실패했던 이야기가 부끄럽다고 생각하셨다는데요. 넷플릭스의 <규칙 없음>에서 실패를 공유하는 문화를 장려한다는 내용을 보고 그 경험을 공유하고자 결심을 하셨다고 합니다.
이러한 실패를 공유하고 배우며 나아가는게 스타트업의 정신인 것 같다는 생각이 들었습니다.
2. A/B 테스트
2부에서는 A/B 테스트에 대한 구체적인 이야기를 나누었습니다. 그 중에서 기억에 남았던 몇 가지 부분만 집어서 정리를 하도록 하겠습니다.
가설을 설정하고 실험을 설계할 때 고려해야하는 것들은 다음과 같습니다.
- 핵심지표 : 실험을 통해 개선하고 싶은 핵심 목표
- 보조지표 : 핵심 지표 이외의 추가로 봐야하는 지표
- 가드레일 지표 : 실험으로 떨어지거나, 올라가면 안되는 주요 지표
- 실험 대상
- 실험 기간과 규모
위에서 설계한 대로 A/B 테스트를 진행하고 결과를 분석합니다. 이때 주의해야할 것이 있는데요. 실험 초반에는 샘플 사이즈가 작고, 신기효과, 초두효과 등 다양한 변수들이 있기 때문에 그래프의 변동이 심합니다.
그렇기 때문에 신규 사용자만 뽑아서 A/B테스트를 진행하던지, N회차 별로 세그먼트를 쪼개서 데이터를 확인하던지, 실험기간 설계를 길게 설정하던지 하는 방법이 필요합니다.
다음으로 A/B 테스트를 하는 인간의 욕망을 주의해야 하는데요. 내가 원하는 결과를 봤을 때 실험을 멈추고 싶다던지, 원하는 결과를 보기까지 실험을 이어나간다던지 할 수 있습니다. 이러한 욕심에 빠지지 않도록 주의해야 합니다.
마지막으로, 실험의 결과가 의사결정에 바로 이어지지 않는다는 것을 이해하고 있어야 하는데요. 실험을 통해 나온 데이터가 정답이 아니라는 것은 항상 마음 속에 염두해두고 있어야 합니다.
데이터에 기반한 의사결정도 중요하지만, 데이터 자체를 목적으로 하는 의사결정을 주의해야 합니다. 하나의 문제를 다양한 시각으로 고려를 해야 하며, 특정 상황에서는 실험의 결과와 반대의 의사결정을 내리기도 합니다.
본 게시물은 데이터리안 월간 세미나의 리뷰 글입니다. 세미나에서 인상적이었던 내용을 주관적인 해석과 함께 작성하였습니다. 본 내용에 대해서 더 관심이 있으시다면 데이터리안 세미나 VOD 시리즈를 참고해보시길 바랍니다.
