미리 설계해보는 우리 회사의 A/B test

sir.YOO_HWAN·2022년 6월 12일
0

GrowthHacking

목록 보기
8/9
post-thumbnail

아직 A/B test를 도입하기 전이지만

  • 미리 실험 프로세스를 정해보고
  • 어떤 실험을 할지 연습해보도록 한다.

A/B test 단계

크게 단계는 아래와 같다.

  1. 가설설정
    • 귀무가설 : 차이가 없다
    • 대립가설 : 차이가 있다.
  2. 평가지표 설정
    • 평가지표로 무엇을 왜? 설정 할 것인가.
    • 최상위 의도: 실험을 해서 어떤 수치를 더 낫게 만드려 하는 지?
  3. 사용자 분할
    • 대조 그룹과 실험 그룹을 만들기
      • 타깃 그룹을 어떻게 설정할 것인가?
      • 표본 추출방법으로는 어떤 방법을 사용할 것인가?
      • 표본의 크기는 얼마로 할 것인가?
  4. AB 테스트의 집행 기간을 결정
    • 예상 기존 전환율,
    • 희망 최소 전환 개선율
      - 유의미한 차이??? 얼마정도 ? 5% 증가??
    • 대조군을 포함한 변형/조합의 수
    • 일평균 방문자 수 (DAU) 등의 요소를 고려
    • AB 테스트에서 실제 유의성을 얻는 데 필요한 시간을 계산
      - 실험 기간을 설정할 때는 최소한의 비즈니스 사이클을 포함해야함
      - 예시로 주말, 평일의 매출이 크기 때문에 주말을 포함하도록 하는등을 고려
  5. 테스트 수행
    • 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부를 확인
      - 실험군의 성질이 동질한 지 판단
      - 예를 들어, 레벨의 경우 그룹 별로 레벨의 분포가 비슷해야 함 (저레벨 - 중간 레벨 - 고레벨)
      - 실험군이 통계적으로 동질한 지 검증: 카이제곱 분포
  6. 결론을 도출
    • 결론이 유의미한가? / 편향은 없었나 ?
      - 유저가 동시에 다른 실험에 노출되면 안된다.
    • P_value 확인
      • 유의수준과 검정력은 괜찮은가?
      • 효과 크기를 무시한 유의성 검정은 아닌가 ?
    • 다음 실험은 어떻게 진행하면 좋은가 ?

실험 1

문구 수정

비즈니스 문제상황

  • 카드 등록시 특정 페이지에서 고객의 개인정보활용동의를 받을수 없어서 고객들에게 서비스를 제공할수 없는 상황이 발생한다. 그로인해 고객들이 계속해서 이탈하게 된다.
  • 페이지를 두고 다같이 논의한 결과 '표현하는 문구의 신뢰도가 낮을수도 있다'는 가설을 세우게 된다.
  • 문구의 신뢰도를 높히기 위해서 기존 문구인 A: 여러분의 개인정보를 주세요. 와 변경을 희망하는 문구인 B: 여러분의 개인정보를 주셔야 서비스를 제공해 드릴 수 있습니다.
    두 가지 경우 중 어느 문구가 더 나을지 실험을 하려고 한다.

A/B test 를 설계해보자

크게 단계는 아래와 같다.

  1. 가설설정

    • 귀무가설 : B페이지는 A페이지와 비교해서 개인정보활용동의의 차이가 없다. (효과 없다.)
    • 대립가설 : B페이지는 A페이지와 비교해서 개인정보활용동의 동의수 늘어날 것이다. (효과 있다.)
  2. 평가지표 설정

    • 평가지표로 무엇을 왜? : 개인정보활용동의 동의수
  3. 사용자 분할

    • 대조 그룹과 실험 그룹을 만들기
      • 타깃 그룹을 어떻게 설정할 것인가?
        • 기존에 우리 서비스를 이해하고 사용하던 고객 X
        • 새로 들어오는 고객
        • Organic (단순 검색)으로 들어오는고객
      • 표본 추출방법으로는 어떤 방법을 사용할 것인가?
        • 타겟 그룹중 랜덤 샘플링
      • 표본의 크기는 얼마로 할 것인가?
        • 일 가입자가 평균 200명이므로 5일 1천명으로 한다.
  4. AB 테스트의 집행 기간을 결정

    • 예상 기존 전환율
      - 예상컨데, 기존 동의율 보다 10% 늘어날 것이다.
    • 희망 최소 전환 개선율
      - 최소 1%는 개선되어야 새로운 페이지로 대체될 것이다.
    • 대조군을 포함한 변형/조합의 수
    • 일평균 방문자 수 (DAU) 등의 요소를 고려

    AB 테스트에서 실제 유의성을 얻는 데 필요한 시간을 계산

  5. 테스트 수행

    • 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부를 확인
  6. 결론을 도출

    • 결론이 유의미한가? / 편향은 없었나 ?
    • P_value 확인
      • 유의수준과 검정력은 괜찮은가?
      • 효과 크기를 무시한 유의성 검정은 아닌가 ?
    • 다음 실험은 어떻게 진행하면 좋은가 ?

REFERENCE

How to conduct A/B Testing?

profile
data analyst

0개의 댓글