Intro.
A/B 테스트에 데이터가 범주형 이항 데이터(성공/실패) 를 분석하는 경우라면, 대표적인 통계 검정 기법 중 Z-test for proportions 와 Chi-squared test 를 고려해볼 수 있다.
실무에서는 자주 혼용되거나 대체적으로 동일한 결과를 도출한다. 그러나 이들은 적용 전제, 해석 방식, 결과 활용 측면에서 미묘한 차이를 가지므로 올바른 맥락에서 선택 할 필요가 있다.
Example.
마케팅 이메일 A, B를 각각 1,000명에게 발송하고 관측한 결과(범주형 이항 데이터)가 다음과 같다고 가정한다.
귀무가설(H 0 H_0 H 0
대립가설(H 1 H_1 H 1
그룹 클릭 (Yes) 비 클릭 (No) 전체 A 100 700 800 B 156 884 1040 전체 256 1584 1840
1. z-test의 계산
Z = p 1 − p 2 p ( 1 − p ) ( 1 n 1 + 1 n 2 ) , p 1 = x 1 n 1 , p 2 = x 1 n 1 , p = x 1 + x 2 n 1 + n 2 Z=\frac{p_1-p_2}{\sqrt{p(1-p)(\frac{1}{n_1}+\frac{1}{n_2})}},\\ p_1=\frac{x_1}{n_1},\quad p_2=\frac{x_1}{n_1},\quad p=\frac{x_1+x_2}{n_1+n_2} Z = p ( 1 − p ) ( n 1 1 + n 2 1 ) p 1 − p 2 , p 1 = n 1 x 1 , p 2 = n 1 x 1 , p = n 1 + n 2 x 1 + x 2
p 1 = 80 800 = 0.10 p_1 = \frac{80}{800}=0.10 p 1 = 8 0 0 8 0 = 0 . 1 0 p 2 = 156 1040 = 0.15 p_2 = \frac{156}{1040}=0.15 p 2 = 1 0 4 0 1 5 6 = 0 . 1 5 p = 80 + 156 800 + 1040 ≈ 0.1283 p = \frac{80+156}{800+1040}\approx0.1283 p = 8 0 0 + 1 0 4 0 8 0 + 1 5 6 ≈ 0 . 1 2 8 3
Z = 0.10 − 0.15 0.1283 × ( 1 − 0.1283 ) ( 1 800 + 1 1040 ) = − 0.05 0.01572 Z = \frac{0.10-0.15}{\sqrt{0.1283\times(1-0.1283)(\frac{1}{800}+\frac{1}{1040})}}=\frac{-0.05}{0.01572} Z = 0 . 1 2 8 3 × ( 1 − 0 . 1 2 8 3 ) ( 8 0 0 1 + 1 0 4 0 1 ) 0 . 1 0 − 0 . 1 5 = 0 . 0 1 5 7 2 − 0 . 0 5 Z ≈ − 3.18 Z\approx-3.18 Z ≈ − 3 . 1 8 양측 검정일 경우, p p p v a l u e value v a l u e p ≈ 2 × 0.00073 = 0.00146 p\approx2\times0.00073 = 0.00146 p ≈ 2 × 0 . 0 0 0 7 3 = 0 . 0 0 1 4 6 H 0 H_0 H 0
2. Chi-squared test의 계산
χ 2 = ∑ i = 1 r ∑ j = 1 c ( O i j − E i j ) 2 E i j , E i j = ( r o w i t o t a l × c o l j t o t a l ) g r a n d t o t a l \chi^2=\sum^r_{i=1}\sum^c_{j=1}\frac{(O_{ij}-E_{ij})^2}{E_{ij}},\quad E_{ij} = \frac{(row_i\;total \;\times \;col_j\;total)}{grand\;total} χ 2 = i = 1 ∑ r j = 1 ∑ c E i j ( O i j − E i j ) 2 , E i j = g r a n d t o t a l ( r o w i t o t a l × c o l j t o t a l )
A그룹
E A , 클릭 = 800 × 236 1040 ≈ 102.61 E_{A,클릭} = \frac{800\times236}{1040} \approx 102.61 E A , 클 릭 = 1 0 4 0 8 0 0 × 2 3 6 ≈ 1 0 2 . 6 1 E A , 비클릭 = 1000 − 102.61 = 697.39 E_{A,비클릭} = 1000-102.61 = 697.39 E A , 비 클 릭 = 1 0 0 0 − 1 0 2 . 6 1 = 6 9 7 . 3 9
B그룹
E B , 클릭 = 1040 × 236 1840 ≈ 133.39 E_{B,클릭} = \frac{1040\times236}{1840} \approx 133.39 E B , 클 릭 = 1 8 4 0 1 0 4 0 × 2 3 6 ≈ 1 3 3 . 3 9 E B , 비클릭 = 1040 − 133.39 = 906.61 E_{B,비클릭} = 1040 - 133.39 = 906.61 E B , 비 클 릭 = 1 0 4 0 − 1 3 3 . 3 9 = 9 0 6 . 6 1
각 셀별 계산
A 클릭 : ( 80 − 102.61 ) 2 102.61 ≈ 512.4 102.61 ≈ 4.995 \frac{(80-102.61)^2}{102.61}\approx\frac{512.4}{102.61}\approx4.995 1 0 2 . 6 1 ( 8 0 − 1 0 2 . 6 1 ) 2 ≈ 1 0 2 . 6 1 5 1 2 . 4 ≈ 4 . 9 9 5
A 비클릭 : ( 720 − 697.39 ) 2 697.39 ≈ 512.4 697.39 ≈ 0.735 \frac{(720-697.39)^2}{697.39}\approx\frac{512.4}{697.39}\approx0.735 6 9 7 . 3 9 ( 7 2 0 − 6 9 7 . 3 9 ) 2 ≈ 6 9 7 . 3 9 5 1 2 . 4 ≈ 0 . 7 3 5
B 클릭 : ( 156 − 133.39 ) 2 133.39 ≈ 4.995 \frac{(156-133.39)^2}{133.39}\approx4.995 1 3 3 . 3 9 ( 1 5 6 − 1 3 3 . 3 9 ) 2 ≈ 4 . 9 9 5
B 비클릭 : ( 884 − 906.61 ) 2 906.61 ≈ 0.735 \frac{(884-906.61)^2}{906.61}\approx0.735 9 0 6 . 6 1 ( 8 8 4 − 9 0 6 . 6 1 ) 2 ≈ 0 . 7 3 5
χ 2 = 4.995 + 0.735 + 4.995 + 0.735 = 11.46 \chi^2 = 4.995 + 0.735 +4.995 + 0.735 = 11.46 χ 2 = 4 . 9 9 5 + 0 . 7 3 5 + 4 . 9 9 5 + 0 . 7 3 5 = 1 1 . 4 6 양측 검정일 경우, p p p v a l u e value v a l u e p ≈ 0.0007 p\approx 0.0007 p ≈ 0 . 0 0 0 7 H 0 H_0 H 0
End.
A/B 테스트에서 클릭률이나 전환률과 같이 이항형 결과(성공/실패)를 비교할 때, Z-test for proportions 와 Chi-squared test for independence 는 모두 유효한 통계 검정 방법이다. 수학적으로도 매우 유사하여 많은 경우에서도 동일한 결과를 보여준다.
실무에서는 결과가 직관적이고 신뢰구간과 효과 크기까지 쉽게 해석이 가능한 z-test가 더 자주 사용 된다.
