본 내용은 카일스쿨님의 인프런 강의 'PM을 위한 데이터 리터러시'를 수강하며 작성한 내용입니다.
1. 기능이 잘 동작하고 있는지 확인하려면?
배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?
지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?
- CTR, CVR
- CTR : 노출 대비 클릭율
CVR : 페이지에 접근한 후, 특정 Component를 클릭한 비율 - CTR이 높고, CVR도 높다 : 많이 반응하고, 전환도 될 때 잘 작동한다고 볼 수 있다.
CTR이 낮지만, CVR은 높다 : 많이 반응하지 않으나, 그 중 전환은 잘 된다. -> 이 경우, 사용자가 더 많이 반응할 수 있도록 UX를 향상시킬 수 있는 방안을 강구해본다.
2. 검색 만족도 지표
배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요?
검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.
- 퍼널 전환율을 확인해봐야 한다.
'메인화면 -> 음식점 화면 -> 음식 세부 화면 -> 장바구니 화면 -> 결제화면 -> 결제완료'로 이어지는 각 page별 전환율을 파악하면 고객이 검색기능에 만족했는지 확인할 수 있다.
3. 검색 필터 기능의 활성화 지표
배달 서비스를 담당하는 PM입니다. 검색필터기능은 잘 사용되고 있을까요? 필터기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?
검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.
- 검색필터기능이 잘 사용되고 있는지 확인하기 위해 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야 한다.
예를 들어, 나는 배달의 민족앱을 사용해 치킨을 주문하고자 검색창을 열어 '치킨'을 검색했다.(특정 브랜드의 치킨을 선호하지 않는 사용자라 가정) 그런데 맨 처음 뜬 화면에 다섯개의 가게가 나오는데 그 중 4개가 치킨집이 아닌 죽, 피자, 버거, 카페가게였다. 다 광고였다. 기분이 별로다. 정렬을 확인해보니, '기본순'으로 설정되어있었다. 굳이 화면을 내려 치킨집을 찾아야하는 번거로움이 느껴졌다. '아 귀찮네...'. 그래서 정렬을 '주문 많은 순'으로 설정해보았다. 이번에도 첫 화면에 나온건 치킨 전문점이 아니라 다 파스타나 떡볶이 집들이다. 아, 정말 귀찮네. '그냥 맛있는 치킨집 좀 추천해줬으면...'하는 마음이 든다. 검색기능을 그냥 꺼버렸다.
배달의 민족 검색필터기능은 잘 설계된 것 같지 않다. 검색 시, 정확도보다 자기들 광고 노출에 더 신경을 썼다. 결국 나는 검색기능은 접고 배달의 민족 첫 화면에 '배달' 카테고리로 들어가, 거기서 치킨 아이콘을 선택해 주문을 했다.
검색필터기능이 잘 사용되고 있는지 확인하기 위한 활성화 지표로 나는 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야한다고 생각한다. 사용자가 만족하는 UX인 경우, CTR, CVR 모두 높게 유지될 것이다. 그러나, 나의 경우는 페이지가 전환될 때마다 결과에 실망해버렸고, 주문을 하지 않기로 하고 페이지를 이탈했다.
! 여기서 헷갈리는 점.
퍼널 전환율과 CVR(전환율)의 개념이 비슷해보여 어떻게 구별하여 쓸지 모르겠습니다. CTR, CVR을 각 페이지 단계별로 보는 게 결국은 퍼널 분석인가요?
4. 배달 서비스에서 가장 중요한 지표는?
배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?
배달 서비스앱을 켰을 때, 보통 나는 특정 음식이 생각나면 앱을 켠다. 예를 들어, 떡볶이가 생각나면 앱을 틀고, '떡볶이' 아이콘을 누른다. 정렬을 '주문 많은 수'로 설정하고, 화면에 나온 떡볶이가게 중 리뷰가 100건 이상이면서 점수가 높은 가게를 클릭한다. 인기메뉴를 살펴보고, 리뷰를 살펴보면서 최신리뷰가 좋으면 거기서 주문을 한다. 주문할 때는 이미 배고파서 손이 떨릴 때이므로, 결제는 간단해야 한다. 미리 연결해놓은 네이버페이로 결제를 한다. 배달은 빠르고, 정확해야 한다. 떡볶이가 식으면 내 마음도 짜게 식고, 다른 배달앱으로 옮기고 싶기 때문이다. 보통은 2주 정도가 지나면 떡볶이 쿨타임이 차 2주마다 배달경험이 좋았던 배달앱에 들러 떡볶이를 주문한다.
- 배달 서비스에서 가장 중요한 지표는 Retention이고, 보조로 볼 지표는 Duration이라고 생각한다. 일단 배달 서비스 앱은 주문으로 이어지는 각 퍼널별 전환율이 너무 중요하다. 배고픈 상태로 앱을 켰는데, UX가 복잡하고, 엉성하면 허기로 인해 이미 인내심이 바닥인 사용자의 서비스 만족도가 훅 떨어지면서, 비교적 더 쓰기 편했던 배달앱로 이탈할 수 있다. 그래서 UX를 극대화해서 퍼널별 전환율을 유지할 수 있도록 해야한다.
또한 Duration도 확인할 필요가 있다. 나는 배달앱의 경우, 유저 리뷰를 굉장히 중요하게 본다. 특히, 최신 리뷰는 꼼꼼히 보고, 주문하는 편이다. 다른 사람도 그럴거라 생각한다. 사용자들이 리뷰를 최대한 많이 작성할 수 있도록 리뷰작성을 활성화하는 전략이 필요하다. 그래서 리뷰 페이지의 Duration도 Retention에 이어 보조지표로 확인해보면 좋겠다는 생각이 든다.
5. 추천 알고리즘의 성능 지표
여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.
추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?
- User Engagement 지표를 파악해야 합니다.
예를 들어, 쿠팡 앱을 켜면 첫 화면에 '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'이 뜹니다. 고양이 사료를 산지 2개월 정도 되어서, 재구매주기가 돌아왔는데 마침 쿠팡이 이 상품을 추천하여 저는 바로 클릭하고 이 제품을 구매했습니다.
앱이 켜진 순간에 사용자가 특정 상품의 구매에 관심을 사로잡히도록 만드는 게 Engagement의 핵심입니다. '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'의 CTR을 확인하며 User Engagement를 확인할 수 있을 것입니다.
! 여기서 헷갈리는 점
CTR과 CVR의 개념이 모호합니다. CTR은 단순 노출 대비 클릭율로 생각하고, CVR은 퍼널 단계별 전환율 정도로 생각하면 될까요?(다음단계로 넘어가는 비율)
6. 여러분들이 자주 사용하는 서비스의 지표
여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?
- Cohort Retention이라고 생각합니다. 사용자 경험이 전반적으로 만족스러웠다면, 새로운 서비스를 탐색하기 보다 원래 사용했던 서비스로 가는 게 사용자들의 일반적인 성격이라고 생각합니다. 새로운 서비스로 옮기는 데, 전환비용이 발생하는 데 본래 쓰던 서비스가 만족스러웠다면 전환비용없이 원래 쓰던 서비스를 다시 쓰는 원리입니다. 그래서 우리 서비스가 사용자에게 만족스러운가에 대한 평가로 'Cohort Retention'을 살펴보고, 처음 우리 서비스에 가입하고 주마다 코호트 리텐션이 어떻게 유지되는지 확인함으로써 서비스 만족도를 가늠할 수 있습니다.
그 외에 확인해야 할 지표로는 AARRR, Funnel이 있습니다. AARRR 분석에서 각 단계의 지표를 확인함으로써 서비스의 성과가 어떻게 성장하고 있는지 다각도로 분석할 수 있습니다. 획득, 활성화, 리텐션, 수익, 추천 면에서 서비스 성과의 성장을 모두 확인할 수 있기 때문입니다. 또한 Funnel 분석을 통해 UX 만족도를 수시로 체크할 수 있기 때문에 Funnel도 보조지표로 꼭 사용되어야 합니다.
7. 퍼널 개선 프로젝트
여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다.
- 온보딩의 효과를 파악하려면 AARRR 지표를 확인해봐야 합니다. AARRR에서 온보딩과 관련된 단계는 Acquisition, Activation, Refferal입니다. 즉, 사용자 유입, 사용자가 서비스에서 최초로 긍정적인 경험을 하는 단계, 기존 사용자의 추천으로 새로운 사용자의 유립을 유도할 수 있습니다. AARRR에서 Acquisition, Activation, Refferal 지표를 성장시킬 수 있는 실험을 하여 가입 퍼널 개선을 유도할 수 있습니다.
