국내와 해외의 다양한 프로덕트에서 A/B 테스트를 실시한 사례를 조사하고, 그 결과를 분석하여 인사이트를 얻고자 한다.
A/B 테스트란?
A/B 테스트에서는, 두 개의 변형 A와 B를 사용하는 ‘종합 대조 실험’을 통해 대상이 변수 A에 비해 변수 B에 대해 보이는 응답을 비교 테스트 한다. 이후 두 변수 중 어떤 것이 더 효과적인지를 판단함으로써 단일 변수에 대한 두 가지 버전을 비교하는 방법이다.
처음 배운 개념이기 때문에 실제 사례를 통해 좀 더 자세히 알아보며 제대로 알아가고 싶었다.
그래서 난 해외 프로덕트 성공 사례 1개, 국내 프로덕트 실패 사례 1개를 찾기로 했다.
(개념을 제대로 알기 위해 성공 사례 1개, 실패 사례 1개를 알아보려 했고,
해외 사례는 영어 원문을 봐야하니 성공 사례가 좀 더 덜 복잡할 것이라고 생각해서 해외 프로덕트를 성공 사례로 찾아보기로!)
난 실험하는거 매우 좋아하니까...🤍 연구 설계할 때 가설 세우고 대조군 실험 설계하는게 참 재미있더라...실험은 결과에 따라 배우는게 생기니까!! 성공하던 실패하던!!그래서 조하!!
✈️ 해외 프로덕트 부킹닷컴
Booking.com은 세계 최대의 숙박 예약 플랫폼 중 하나이고, 연간 2만 5천 건이 넘는 AB 테스트를 하는 실험 기업이기도 하다.
💆🏻♀️ 국내 프로덕트 강남언니
강남언니는 성형&피부 시술 및 병원 선택부터 상담신청, 시술 후 관리까지 유저의 고민 해결 여정을 돕는 플랫폼이다.
A/B 테스트 실패한 사례를 보고 싶었다.
그렇게 찾은 강남언니 사례 읽다보니 굉장히 재미있고 흥미로워서 정리해서 남기고 싶었다.
프로덕트의 A/B 테스트 사례 그리고 실행 & 결과
- A/B 테스트 사례 자료 수집 및 정리
- 개선 포인트(문제 정의), 가설, 기간, 타겟, 테스트 형식(UI 개선 혹은 문구 등등) 정리
"A/B 테스트는 가설 설정 → 실험 → 결과 분석의 단계를 순환한다."
부킹닷컴의 A/B TEST 사례 그리고 실행 & 결과
- A/B TEST 사례
정량적 데이터 파악
Booking.com은 숙박 업주용 대시보드의 온보딩 이탈률이 비정상적으로 높다는 사실을 밝혀냈다.- 문제 중 하나는 캘린더 기능의 조작법을 알려주는 '둘러보기' 단계의 이탈에 있었다.
- 대시보드의 핵심 기능인 캘린더 사용법을 설명하는 '둘러보기'는, 캘린더 기능을 요약하는 설명과 + 진행 버튼 + 건너뛰기 버튼으로 구성된 팝업으로 진입할 수 있었다.
- 숙박 업주를 대상으로 한 온보딩 과정에서 제품을 설명하는 둘러보기 단계에서 대부분이 건너뛰기 를 클릭한다는 것을 알아냈다.
가설 설정
이로 인해 제품 학습이 덜 된 유저는 대시보드 사용에 어려움을 느꼈고, 그 결과 온보딩에서 많은 유저가 이탈했던 것이다.실험1
Booking.com은 먼저 건너뛰기 버튼을 제거하는 AB 테스트를 진행했다. 건너뛰기 기능을 없애고 진행 버튼과 닫기 기능만 남겨 실험을 진행했다.결과 분석
둘러보기 팝업 전환율이 13% 올랐다.실험2
그 다음으로는 건너뛰기 버튼은 그대로 두고, 캘린더 기능에 대한 단순 설명이었던 카피를 가치 전달 중심적으로 바꿨다. 기존의 설명은 기능적인 서술이었지만, 사용자가 해당 플로우를 이용함으로써 얻을 수 있는 정보에 대해 명확히 했다.결과 분석
즉, (가치 중심의 카피 삽입) 캘린더 기능이 자신의 상황에 맞는 예약을 받는데 도움이 되며, 지금 배워두면 나중에 시간을 아낄 수 있다는 점을 강조함으로써 전환율이 50% 상승했다.
- 참고 아티클 : 바로 활용하는 12가지 AB 테스트 사례
- 부킹닷컴 온보딩 팝업 A/B TEST 원문
강남언니의 A/B TEST 사례 그리고 실행 & 결과
- A/B TEST 사례
초기 강남언니 일본 유저가 사용하는 로그인 화면을 실험했던 A/B TEST 사례이다.정량적 데이터 파악(문제사항 정의)
로그인 화면을 보는 유저 수에 비해 회원가입까지 완료하는 유저의 수는 59.9%로 절반 조금 넘는 회원들만 가입으로 전환하는 현상을 발견했다.가설 설정
일본 유저들은 액션을 취하려면 정보가 필요하다. 기존의 회원가입/로그인 화면(Control)에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 앱이 무슨 앱인지 파악하기 어려워 전환이 되지 않을 것이다.- 일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 제공해 전환율을 높이도록 디자인을 개선하는 실험을 설계했다.
실험1
앱에 대한 정보를 다양하게 전달하기 위해 이벤트강조안(A), 앱 기능강조안(B), 앱 내용보여주기안(C)을 만들었다.
결과 분석
처참한 결과를 맞게됩니다. A 기존안이 가장 높은 전환률로 모두 하향평준화 되어 버린것입니다. 디자인을 개선했는데, 기존안이 더 효율이 좋다는 결론이 나온 것이다. 😨
실험에 대한 회고
과연 가설이 틀렸던 것이었나? 그에 대한 답은 '알 수 없었다'- 유저에게 테스트할때에는 무엇이 변수인지 확실히 알려면 통제변수가 필요하다. 이 실험은 정확히 말하면 가설이 2가지였던 것이다.
- '일본 유저들은 액션을 취하려면 정보가 필요하다.' 와 '버튼이 많아서 로그인 전환이 힘들었을 것이다.'
- 일본 유저의 유입자체가 적어 유의미한 테스트 결과를 얻기까지 2달정도가 걸렸다. 적은 모수에 너무 많은 시안을 테스트했기에 결과를 얻기 까지 너무 오랜 시간이 걸렸다.
- 성과를 빠르게 측정하기 위하여 2-3개의 시안을 테스트하자는 방향성을 잡고 다시 2차 실험을 시행했다.
실험2
(제한변수) 하단의 버튼 갯수, 위치, 문구를 제한하고 위에 컨텐츠만 변화를 주었고 하단에는 'SNS에 공유되지 않으니 안심하세요.' 문구를 추가해주어 한번더 안심하고 전환될 수 있도록 마이크로카피를 추가했다.- 그리고 실험 기간과 테스트 시안 갯수를 줄였다. 기한을 3주로 정해두고 실험의 갯수를 줄여 유의미한 결과를 얻을 수 있도록 실험을 설계했다.
결과 분석
로그인 화면에 들어온 유저를 세 그룹으로 나눠서 한 그룹에는 바뀐 A안(이벤트 강조안) 보여주고, 두번째 그룹에는 B안(앱 내용보여주기) 다른 한 그룹에는 기존과 동일하게 워딩으로만 노출했다. 두번째 그룹이 병원을 보는 수는 기존 그룹보다 3.58% 높게 나왔다.
- 최종 전환률은 1년 전에 비해 80%로 20%나 상승했다.
- 출처 : 강남언니 공식 블로그 중 실패를 통해 배우는 AB 테스트
- 참고 : 강남언니가 고객의 문제를 찾는 방법
프로덕트의 A/B 테스트 사례에 대해 찾아보고 정리하면서 얻은 인사이트 그리고 내가 담당 PM이라면?
- 강남언니 프로덕트 팀의 실패를 통해 배운 인사이트를 통해 문제상황을 설정은 명확하게! 가설은 날카롭게! 라는 것이 중요함을 다시 체감했다.
- 실패를 해도 괜찮다. 그 실패를 통해 회고하고 다시 설계해서 배울 수 있다면
- 그리고 추가적으로 가설을 검증하기 위해 다른 변수들을 통제해야 한다는 것에 대해 놓치지 말아야겠다고 생각했다.
이건 실험할 때 마음이 앞서고 빨리 해결해야겠다고 생각해버리면 누구나 놓쳐 버리는 포인트일 수 있기에 항상 염두해둬야겠다. 실험의 목적을 잊지 말자!
- 그리고 내가 만약 위의 상황에 담당 PM이라면 어땠을까?
- 나는 아마 먼저 VOC랑 자발적인 앱 리뷰(블로그, 댓글, SNS 등)를 찾아서 사용자의 이야기를 조사하고 공통된 키워드를 도출해서 가설을 세웠을 것 같다. 문제 발견한 후 문제를 정의하고 이와 관련된 모든 자료를 조사한 후 문제 해결을 위한 키워드를 찾아 실험을 설계했을 것 같다. 그 솔루션이 명확하게 사용되는지 A/B 테스트를 시행하여 결과를 분석할 것이다.
(여담)우왓!! 나 A/B 테스트에 소질있나? 강남언니 프로덕트팀 AB TEST 글 첫 줄 읽자마자 "어떻게 그 가설을 세운거지?", "정말 일본 유저들은 정보를 많이 주면 회원가입율이 증가할까?", "혹시 강남언니 프로덕트팀에서 가설을 세울 때 근거 자료가 있었지만 이 글에서 언급을 안했을 수도 있으니...좀 더 읽어보자" 했는데 와... 문제점이 가설을 세우는 것에 있었다니...(나 PM에 소질있나 봄?김칫국 한사발로 자신감 UP!)
