MVP
🤔 MVP란 무엇인가
Minimum : 최소의 | Viable : 존속 가능한, 생존 가능한 | Product : 제품⇨ 최소 노력을 들여, 고객에 대한 최대 배움을 얻게 해주는 프로덕트
⇨ 출시 > 측정 > 배움 > Pivot / 개선 으로 이어지는 피드백 루프를 가장 효율적으로 형성하는 방법
⇨ 제품 출시 전, 고객의 반응을 얻고 피벗 결정 or 개선하면서 시행착오에 따른 시간과 비용 절감
💡 피봇(Pivot)이란?
기업이 기존에 하던 비지니스 모델 또는 프로덕트의 성공 가능성이 낮다고 판단 시,
새로운 비지니스 모델로 전환하는 것
👍🏻좋은 MVP vs 👎🏻나쁜 MVP
- 적은 기능을 가지고 있되, 핵심 기능을 온전히 동작해야 하며, (이해가능하거나) 디자인, UX 등을 통해 고객의 근본 니즈나 욕구를 충족시킬 수 있는 제품
- 최초의 유저들 or 얼리어답터들에게는 충분한 매력 어필이 가능하고 사용을 유도할 수 있으면서도 최소한의 공수만 들고 문제를 해결할 수 있어, 이를 통해 사용자들에게 인사이트를 얻을 수 있게 만드는 것
😎 PO의 MVP 활용하기
-
새로운 기능(제품)을 개발하는 단계에서 적절한 MVP를 설정하여, 리소스 낭비를 최소화하여 최대의 배움을 얻을 수 있게 하는 것
⇨ 가장 핵심적인 기능만 남긴 MVP를 설정해서 최소한의 기능 개발 및 출시
(반응이 좋으면 다양한 부가 기능 추가 제품 개선)
⇨PO의 핵심 능력🌟** -
❗MVP를 설정할 때는 다음 2가지를 고려할 것❗
- 어떤 가설을 검증하려 하는가?
- 그 가설을 검증하기 위해서 필요한 핵심 기능은 무엇인가? -
제품 개발 관련 인원은 각자의 욕구가 뚜렷하기 때문에 균형점을 찾아야 함!
MVP는 내고 끝내는 것이 아닌,
고객 반응을 통해 피드백을 얻고 이를 통해 지속적으로 개선해 나가야 한다!
WireFrame과 Prototype
🙂 와이어프레임과 프로토타입의 공통점
- 시제품이 나오기 전 제품의 초기 버전
- 기획자, 개발자, 디자이너 사이의 간격을 좁혀주는 역할을 함
- 내부 의사결정을 위해 활용
와이어프레임
- 디자이너가 작업을 시작할 수 있는 기초 역할
- 세부묘사보다는 핵심 요소만 추상화하여 표현
- 화면 단위의 레이아웃을 설계
프로토타입
- 실제와 비슷하게 구현된 상태로 간단한 인터렉션 포함
- 피델리피 레벨에 따라 로우/하이 프로토 타입으로 나뉨
- 하이 피델리피 프로토타입은 실제 제품과 거의 동일하게 동작하기 때문에, 미스커뮤니케이션을 최소화할 수 있으나 제작 시간이 오래 시간 소요될 수 있음
프로토 타입의 Tool
피그마, 플린토, 리액트 네이티브 등 다양한 것도 있지만
키노트, 루시차트, 발사믹, Abobe XD 등의 정도가 PO가 사용해야 되는 툴인 것 같다!
👀 WireFrame과 Prototype 의의
- 와이어프레임과 프로토타입은 어디까지나 의사소통의 도구
- 기획 컨셉을 디자이너와 개발자가 이해할 수만 있다면 OK
제일 쉽고 편하게 다룰 수 있는 툴을 통해 빠르게 만들고 더 자주, 깊은 커뮤니케이션을 하는 것이 중요!
AB Test
🆎 AB Test란?
데이터 기반의 의사결정 및 서비스 기획 방법
임의로 나눠진 집단(A/B)에게 서로 다른 UI/UX 등을 제시하고, 두 집단 중 어떤 집단이 더 높은 성과를 보이는 지 정량적으로 평가하는 방식
🤔 AB Test를 하는 이유
① 급변하는 시장에서 누구도 예측하기 힘듦(전문가라도)
② 현재 AB Test를 통해서 무엇이 더 나은 지 확인하기가 정말 좋은 환경
③ 아무리 뛰어난 사람들이 모여있어도 그들이 맞을 확률이 매우 낮음
AB Test 진행 Process
① 목표 설정 ② 가설 수립 ③ 실험 설계 ④ 실험 진행 ⑤ 결과 검증
① 목표 설정 및 가설 수립
- 테스트의 목표를 구체화
⇨ 명확한 목표가 있어야 유의미한 지표 선정 및 가설 설정 가능 - 명확한 목표 설정을 세웠다면, 목표에 맞는 지표 설정
- 서비스 가입자 증가 ->서비스 가입전환율
- 버튼 클릭 인원 증가 ->버튼 클릭 전환율 - 전환율은 비율 지표이기에 설정 시, 분자와 분모를 명확히 작성
⇨ 동일한 가입전환율이어도 분모가 가입페이지 방문자 수인 지, 인스톨 유저수 인지에 따라 값이 크게 차이나기 때문
❗분모를 무엇으로 정하느냐에 따라❗
- 전환율이 크게 변경될 수 있다
- 결과 해석에 따른 프로덕트팀의 향후 개선 방향성이 크게 달라질 수 있다!!
② 가설 수립
- 어떤 일을 해야 해당 지표가 개선될 수 있을지에 대한 가설 수립
- 가설을 기반으로 실험/학습/레슨런이 정해져 진행되므로 신중하게 가설 세울 것!
- 가설을 결정하기 전
- 가설이 목표와 얼라인 되는 지 반드시 확인
- 가설과 관련된 정보를 충분히 탐색할 것 ⇨ 리소스 낭비 줄일 수 있음 - 테스트 진행할 때마다 가설, 결과를 기록할 것 ⇨ 지식, 자료, 재산이 됨
③ 실험 설계
✅ 지표의 종류
- 합계 지표 (SUM)
⇨ 양은 알 수 있으나 비율을 알 수 없어서 AB Test 진행 시 잘 사용되지 않음 - 평균, 중앙값 (MEAN, MEDIAN)
⇨ 가장 많이 쓰이는 평균에 함정에 빠지지 않도록 주의할 것!
ex) A : 1m, 1m, 1m, 1m, 1m B: 5cm, 5cm, 5cm, 5cm, 4m 80cm
⇨ Median, mode(최빈값) 등을 확인하여 아웃라이어 존재 여부를 파악해야 함
ex) mean : 1m | median : 5cm | mode : 5cm - 비율(0~1)
⇨ 전환률(Conversion Rate)
⇨ AB Test 시, 가장 많이 사용되는 지표의 종류
ex) 결제완료 횟수 / 결제 페이지 진입 횟수
✅ 지표 설정
- 민감도(Sensitivity)와 강건성(Robustness)
- 변화를 가하지 않았는데도 둘쑥날쑥하는 지표 ⇨ 강건성이 낮아 적절하지 않음
- 변화를 가해도 크게 변화 없는 지표 ⇨ 민감하지 못하여 적절하지 않음
✅ Target User : 어떤 유저 대상으로 실행을 수행할 것인가?
- 실험군의 모수 설정
-많은 유저가 사용하고 있는 서비스⇨ 5 ~ 10%
⇨ 부작용을 최소화 하기 위해
-초기 스타트업⇨ 50% 가량
⇨ 유의미한 실험 모수를 빠르게 확보하기 위해 - Sample Size
- 샘플 수가 많을 수록 신뢰도 증가 ⇨ 하지만 리소스 한정
- 각 베리에이션별 적정 샘플 사이트 구하는 것이 필요 ⇨ AB Testing sample Size Calculator
ex) Optimizely
Baseline Conversion rate⇨ 통제군
지금 현재의 개선하고자 하는 값 (현재의 결제전환율, 가입전환율 등)Minimum Detectable Effect⇨ 최소 측정 가능한 효과
낮으면 낮을수록 정밀한 실험이 가능 ⇨ 샘플 사이즈 많이 필요
MD가 높을수록 샘플 사이즈는 적게 필요하다Statistical Significance⇨ 통계적 유의도
보통 95%가 기본, 하지만 샘플 사이즈 부족하다고 느낄 시 낮춤
만약 실험군이 위너가 되었다면 100%의 유저 대상으로 실험군에 적용되었던 개선사항을 모두에게 적용시켜서 노출
대조군이 위너가 되었다면 100%의 유저를 기존의 기능으로 롤백시켜야 한다!
✅ Duration(기간)
- 보통 기간이 길 수록 정확성은 증가 ↑
- 특수한 이벤트가 기간에 포함될 경우 데이터 왜곡을 조심해서 결과 분석해야 함
✅ Variation (실험 단위)설정
- 어떤 것을 다르게 보여줄 것인가?
- 둘의 차이가 너무 복합적이면 유의미한 결과 해석이 어려워짐
- 최대한 실험 단위를 쪼게서, 영향력을 확인하고 싶은 부분을 제외하고는 통제하는 것이 좋음
④ 실험 진행
🔬 실험 진행
- AB 테스트의 분기가 제대로 이뤄지고 있는지 파악해야 한다
- 실험 기간이 너무 짧을 경우, 유의미한 결과값을 얻을 수 없을 가능성이 높음
- 지속적으로 데이터를 확인하면서 통계적 유의미성이 확보되었는지 확인 필요!
🥼 결과 분석
통계적 유의성 확인
- 실험군, 대조군의 각각의 모수와 전환 유저 값을 통해 통계적 유의미도 계산
- p-value 계산기 사용하여 확인하기
ex) VWO
, abtestguie
Control⇨ 통계집단,Variation⇨ 실험군
Number of Visitor(총 몇 명)중에 Number Conversions(몇 명)이 우리 원하는 액션을 했는가?
p-value가 0.05보다 낮을 경우 의미가 있다고 판단
- 통계적 유의도가 충분히 확보 되지 않은 상태에서 섣부른 결론 내리면 안됨!불변지표 확인
실험 과정이 문제가 없었는 지 점검하기 위해 실험 가정에서 변하면 안되는 수치인
'불변지표' 수치를 확인해야 한다
❗A/B Test 시 주의할 사항❗
1. A/B Test는 최적화 도구일 뿐, 큰 그림은 보여주지 못한다
2. 대부분의 가설은 틀린다
3. 실험을 너무 빨리 끝내면 안된다
4. 너무 많은 변인을 한꺼번에 테스트 하면 안된다
AB Test Case Study - goodui.org 참고
🌟 오늘자 일기
오늘자 일기!
흠,, 개발자가 되기 위해 공부할 때 와이어 프레임은 많이 작성을 해봤다. 왜냐하면 기획자가 없었기에 우리 모두가 다같이 기획, 디자인을 진행했어야 되었기 때문이다! 그래서 굉장히 친숙하게 다가왔다. 디자이너와 프로젝트를 진행할 때도 우리가 원하는 디자인 레퍼런스를 피그마에 여러 개 올려놓아 디자이너의 이해를 돕기도 했다. 이걸로도 부족하였을 때 내가 직접 굿노트에 그려서도 설명한 적이 있다! 공부하면서도 그 때의 추억이 새록 새록 떠오른다! 다시 그 때 다 같이 프로젝트 할 때로 돌아가고 싶다! 힘들긴 했지만, 되게 재밌었었고 우리만의 하나의 큰 프로젝트를 했어서 되게 뿌듯했었는데 ㅎㅎㅎ 그래도 그 때의 우리 팀원 모두 다 취업도 해서 개발자로 자리매김을 하고 있어서 기분이 좋다! 아쉽게도 나는 직무 전환을 선택했지만,,ㅎㅎㅎ 그래도 얼른 PM으로 자리잡아서 어엿한 사회의 구성원으로 나도 얼른 성장해야겠다!!
어쨌든오늘 강의를 통해서 느낀 점은!
- PO의 관점으로 왜 이 실험을 진행하였을까
- 어떤 KPI를 갖고 진행하였을까
- 왜 저런 결과가 나왔을까
- 실험이 성공이었다면 어떤 것을 더 개선/강화할 수 있을까
- 왜 이 실험은 실패하였을까
등을 생각하면서 앞으로의 AB Test를 할 때 적용해야겠다고 생각이 들었다!
오늘의 일기 끝!
참고 / 같이보면 좋은 블로그
