여기서는 ABT 자체 내용보다는, ABT를 할 때 유의해야 할 점에 대해서 오늘 새삼 느낀 점을 기록 해 두고자 한다.
아래 내용은 내가 느낀 점일 뿐이지만, 관련하여 혹시 다른 의견이 있다면 그 의견이 더 적절할 것이라 생각한다.
1. ABT 목적을 항상 염두에 두자
실험 목적은 다양할 수 있지만, 보통은 ABT의 목적은 대략적으로 크게 두 가지로 나눠볼 수 있겠다.
- 첫 번째는 서비스 정책 혹은 스펙 변경 전, 시범삼아 일부 케이스만 서비스 정책 혹은 스팩 변경을 선 도입하는 것이고
- e.g., UI 변경 - 두 번째는 서비스 고도화를 위한 데이터( takeaway messages ) 수집 목적이다.
- e.g., 가격탄력성 측정
실험을 반복적으로 수행하다 보면, 관성에 따라서 자연스럽게 실험 목표를 잊는 경우가 생길 수 있다. 그러면 소중한 시간과 리소스를 낭비한 결과가 될 수 있으니, 실험 설계와 모니터링, 그리고 분석 과정에서 실험 목표를 항상 중심으로 잡아가는 것은 어찌보면 너무 당연하게 중요하다.
2. 실험을 할 만한 내용인가?
projection 해 보기
늘 그렇듯, 하고 싶은 실험은 많지만 시간과 자원은 한정되어있기에 우선순위를 항상 정해야 한다. 어떠한 실험을 하더라도 실험 내용에 따라 도메인 지식과 경험이 쌓이는 것은 당연하지만, 쌓인 경험으로 추후에 무엇을 할 수 있을 것인지 효용 가치를 따져봐야 한다.
특히 실험은 물리적인 시간이 소요되기에 더욱 중요하다. 물리적인 시간은 우리가 통제하기 어렵고, 소중히 활용해야하기 때문이다.
실험 하기 전, 우리가 가정한 실험 결과를 기준으로 한 것과, 더 잘 되었을때와 잘 되지 않았을때 이렇게 총 세 가지 경우에 대해 projection을 해 보면 해당 실험의 영향과 규모는 대략적으로 가늠해 볼 수 있을 것이다. 그리고 가늠 해 본 결과, 실험을 해봐도 되겠다는 판단을 할 수 있을 것이다.
예를 들어, 중간 특정 단계의 전환율 10% 상승의 결과로 최종 매출액이 1%만큼 상승할 것으로 예상된다면, ( 상황에 따라 다르겠지만 ) 1% 상승을 위한 액션보다는 보다 더 아이디에이션을 통해 10%이상 매출 상승을 이끌어낼 수 있는 실험 가설을 찾는것이 더 좋다고 결정될 수 있다.
무턱대고 실험을 진행하는 것은 전사 리소스가 소모되는 것을 의미하기 때문이다.
따라서 projection을 미리 해 보는 것은 필수이다.
projection을 할 때는 아래와 같은 관점들로 해볼 수 있겠다.
- 목표를 달성하기 위해 얼만큼의 지표 개선이 필요한 지
- 그러한 지표 개선은 현실적으로 달성 가능한 수준인 지
- 기타 등등
3. ABT, 과연 만능일까?
위의 과정들을 거쳐서 ABT를 시행하게 되었을 때, 그리고 실험 결과도 #매우 #달달해 #성공적 이라 하더라도.. 과연?
냉정하게 말하자면, ABT 내용은 딱 실험 기간의 내용일 뿐이다.
실험 분석 이후에 본 서비스로 적용을 완료한다면 어떻게 지표가 변할 지 아무도 모른다. 실험기간에 확인된 내용이 앞으로도 이어질 것이라는 가정 하에 의사결정을 하는 것이다.
따라서 seasonality( 계절성 ), 그리고 앞으로의 시장 변동, 경쟁사 동향, 실험 영역이 아닌 회사 전반적인 목표 등 수많은 상황을 고려하여 의사결정을 해야 한다. 따라서 실험 내용이 앞으로도 이어질 것이라는 가정을 할 수 밖에 없다.
이러한 가정에 오류가 생길 수 있다는 ABT의 ( 비현실적이지만 )한 가지 예시를 들고자 한다.
` 상황 가정
- 딱 한 가지의 종목만을 선택하여 주식 투자를 할 수 있다.
( 이것이 비현실적인 가정 포인트 → 당연히 분산투자를 할 것이다. ) - 의사결정을 위한 ABT는 가능하다.
붉은색 동그라미 기간이 ABT를 수행한 기간이다. - Y축 1칸은 $500이고, 위의 기업을 A라 하고, 밑의 기업을 B라고 하자.
ABT 결과, 당연히 B 기업에 투자 할 것이다.
B기업에 모두 투자했다고 가정한 후, 실험기간과 동일한 기간이 흘렀다.
????
...
그리고 더 오랜 시간이 흘렀다.
분명히 ABT 기간에는 B가 더 좋은 내용을 보였지만, 그에 따른 의사결정은 B의 내용이 앞으로 쭉 이어질 것이라는 가정을 한 것이다.
앞으로의 상황은 가늠하기 어려운 주식투자로 예를 들었으니 이러한 ABT 자체도 말이 안되고, 신뢰할 수 없다는 생각이 자연스러울 것이다. 다만 꼭 이러한 경우가 아니더라도 ABT의 내용은 실험 기간에 국한된다는 사실은 은근히 망각하는 경우가 많다. 이 점 분석할때 꼭 염두에 두거나, 분석 내용을 정리할 때 언급하면 좋을 것 같다.
` 참고
위에 있는 그래프는 알파벳A( 구글의 지주회사 )
아래 있는 그래프는 테슬라
