[코드스테이츠 18기] 무신사와 A/B테스트
Weekly 탐구 과제
프로덕트의 그로스 해킹 전략을 분석하고, 더 성장시키기 위한 A/B test 설계해보기
과제 수행 목적
오늘 과제는 기업 또는 타사 프로덕트의 현재 그로스 해킹 전략을 이해하고, 어떤 요소들이 사용자 획득, 활성화, 유지, 수익 창출에 영향을 미치는지 파악합니다. 이를 통해 전략의 성공 요인과 개선해야 할 부분을 발견할 수 있습니다. 나의 MVP 프로덕트를 성장시키기 위해 전환율을 개선할 수 있는 가설을 세우고, 이를 검증하기 위한 A/B 테스트를 설계에 대해 학습합니다.
Step1 - Warm up!
내가 관심 있는 프로덕트를 1개 골라 Funnel을 살펴봅시다. 그로스 해킹의 포인트를 위한 인사이트를 기르는 훈련이라고 생각해 주세요.
프로덕트 유입부터 제품 구매(사용)까지의 Funnel을 구분하고 AARRR 분석 후 세팅해 봅니다.
1. 프로덕트의 각 Funnel을 어떻게 정의하고 있는지 최대한 세분화해서 설명합니다.
2. 해당 프로덕트에서 '성장(매출)에 기여하는 가장 중요한 메인 기능'을 선택합니다.
3. 해당 기능에서, 사용자가 '전환'하기까지 어떤 프로세스를 거치는지 분석합니다.
4. 그리고 전환까지의 각 단계를 AARRR로 구분하고, 주요하게 확인해야 하는 지표를 작성해 주세요.
ex) Acquisition - 방문, Activation - 상품 페이지 열람 등
여전히 진행 중인 무신사를 사용하는 고객의 구입여정에 대해서 Funnel과 AARRR를 작성해보려고합니다.
1. 무신사에서 옷을 구입하는 고객의 Funnel
2. 성장에 기여하는 가장 중요한 기능
- 다양한 브랜드의 입점 (다양한 제품과 카테고리는 고객들의 좋은 경험을 이끌 수 있다고 생각합니다.)
- '무신사스탠다드' (자체 브랜드의 합리적인 가격과 다양성이고객의 만족도를 높임으로써 충성도를 올린다고 생각합니다.)
- 쿠폰, 적립금 등 가격적인 메리트
즉 고객들의 많은 취향을 모두 충족시킬 수 있는 많은 제품과 합리적인 가격이 중요하다고 생각합니다.
3. 사용자가 전환하기까지의 프로세스
- 무신사(웹 / 앱) 광고 혹은 친구의 추천으로 유입
- 첫 구매 고객 - 처음 구매 이벤트로 싼 가격으로 의류 구입
기존 사용 고객 - 일전에 받은 쿠폰과 적립금, 레벨 당 할인을 사용해보니 다른 플랫폼보다 저렴함 + 다양한 후기로 정보 얻음 - 특정한 불편함을 느끼지 않은 고객은 후기 작성 시 적립금 지급과 매달 나오는 쿠폰으로 가격적인 메리트를 느끼며 계속 무신사를 사용
4. 각 단계를 AARRR로 구분 및 주요한 지표
- 획득 단계 (Acquisition)
중요 지표 -> CPA, CAC(고객 획득 비용), 신규 방문자 수, 신규 방문자 획득 경로, CPI(앱 설치 1회당 비용)
다양한 광고(버스정류장, 셀럽들의 광고, 무탠다드 매장, 공유오피스, 카카오톡, 친구의 추천, 첫 구매 시 파격할인)으로
무신사 앱 / 웹에 신규 방문자들이 들어오게 됩니다. - 활동 단계 (Activation)
중요 지표 -> 이탈률 (신규 유입된 방문자들이 어떤 부분에서 이탈이 진행되는지), 회원 가입률, 이벤트 참여률
새롭게 들어온 방문자들이 어느 부분에서 회원가입을 진행하는지(회원가입이 되어야지 첫 구매 이벤트, 적립금 등을 이용 가능하기에)
가 중요하다고 생각합니다.
또한 무신사를 처음 사용하는 고객들에게 중요한 부분은 '다양한 제품군이 있는가?' 혹은 '가격적인 메리트가 높은가?'
라고 생각합니다.
그렇기에 첫 구매 이벤트, 쿠폰 등을 얼마나 사용하는지에 대한 지표가 새로운 고객들의 활동을 나타낼 수 있을 것 같습니다. - 유지 단계 (Retention)
중요 지표 -> 구매전환율, 구매 빈도
'신규 유입된 고객들이 회원이 되고 어떤 부분에서 유지를 할까?'에 대한 고민이었습니다.
'가격적인 부분', '다양한 후기', '커뮤니티의 활성화(코디맵 등)'이 있었습니다.
'기존에 있던 고객들에게는 어떤 부분이 유지를 할까?'가 다음 고민이었습니다.
'매월 새롭게 나오는 쿠폰', '기존에 존재하던 적립금', '로그인만 해도 쌓이는 포인트', '다양한 기획전(이벤트)', '체험단 이벤트'
'카카오톡 광고알림', '메시지로 오는 관심브랜드의 할인 or 새로운 시즌 출시' '커뮤니티 활동' 등이 있었습니다. - 매출 단계 (Revenue)
중요 지표 -> 구매전환율, 주문당 객단가, 재구매 비율, 커뮤니티 활동 경험이 있는 고객들의 구매전환율
신규 유입된 고객들은 첫 구입시 쿠폰 사용으로 저렴한 가격을 통해서 좋은 경험을 할 것 같습니다.
또한 무신사는 낮은 가격의 제품을 구입해도 배송비가 무료이기 때문에 부담감이 없습니다.
다양한 후기와 옷을 어떻게 코디하는지에 대한 정보가 있기에 고객들이 배송을 받아봤을 때 만족감을 느낄 확률이 큽니다.
구매 전 이탈의 경우에는 자신이 원하던 제품이 품절이거나, 특정한 제품은 없거나, 후기가 안좋거나 정도를 뽑겠습니다.
구매 후 이탈의 경우에는 배송을 받아보니 옷의 재질, 사이즈 등 좋은 경험을 못하거나, 다른 곳에서 더욱 싸게 팔거나 정도입니다. - 추천 단계 (Referral)
중요 지표 -> 앱스토어 후기(별점), 바이럴 지표, 공유 수
무신사는 친구추천 이벤트를 적극 활용하고 있는만큼 추천에 대해서 적극적이다. 또한 각종 후기들을 작성하는 것도
추천의 일부가 될 수 있다고 생각한다.
무신사 자체적으로 운영하는 커뮤니티를 활용할 수 있기에 추천을 할 수 있다고 생각된다.
1. 다른 프로덕트들의 A/B 테스트 사례
1. 무신사가 진행한 A/B테스트 (출처 : 무신사 기술 블로그)
무신사 스토어는 모바일 웹/앱 환경에서 검색 결과 1페이지 당 상품이 60개씩 노출되고 있기 때문에, mAP@k에서 지표를 의미하는 k를60으로 설정하여 모바일 환경에서의 검색 이용자 반응을 테스트 해보기도 합니다.
mAP라는 지표를 설정하여서 고객들의 반응을 지켜보고 있습니다.
2. 구글 애널리틱스(쿠키 + dimension)을 활용한 A/B테스트 (출처 : https://medium.com -> 작성자 willy)
맞춤 측정 기준(특정 조건으로 구분 키를 세팅하는 것) + 쿠키로 A/B테스트를 구현하였다.
01. ga(구글 애널리틱스)에서 맞춤 측정 기준을 추가하고 원하는 비율만큼 쿠키에 값을 넣는다.
02. ga send 호출 전에 ga set으로 해당 쿠키 값을 세팅
03. 쿠키 값에 따라서 대안 페이지를 구현하고 그에 따른 데이터가 잘 쌓이는지 확인한다.
예시
당근마켓 사이트의 중고 상품 상세페이지를 변경한다는 가정을 하고 변경한 페이지와 보고 싶은 지표(이탈률)에
대한 조건을 걸면 비교해서 확인을 할 수 있다.
3. 미국 핸드메이드 제품 이커머스 플랫폼 'Etsy'의 A/B 테스트 사례 (출처 : https://brunch.co.kr/@dmone/56)
01. 개선 포인트 : 웹 사이트 내 많은 상품들을 고객들에게 보여주는 방식을 어떻게 개선할까?
02. 배경 : Etsy의 페이지에 무한 스크롤을 도입하여 검색경험을 개선하고자 했다.
'이 커머스 플랫폼에서는 더 빠르고 더 많은 결과를 제공하는 것이 좋은 경험을 이끌어낸다'라고 판단을 했기 때문에.
03. 테스트 방식 및 평가 지표
* 일반적으로 콘텐츠가 많아서 한 화면을 넘어가는 경우에 처리하는 방식은 2가지이다.
1. 페이지네이션 - 페이지를 넘버링하고 페이지마다 상품을 노출하는 방법
2. 무한 스크롤 - 제한 없이 계속 콘텐츠가 노출되는 것
04. 평가 지표 : 고객이 스크롤을 내려서 본 상품 개수, 클릭 수, 즐겨찾기, 구매율
테스트 결과 - 매우 부정적, 고객들이 본 상품 개수 50% 감소, 클릭 수 11% 감소, 즐겨찾기 8% 감소, 구매율 22.6% 감소.
결과 및 회고 - 자신이 세운 전제가 틀린 것 같다고 생각했다고 한다. 아마도 Etsy를 활용하는 고객의 특징을 잡지 못한 것으로 보임.
2. 위와 같은 사례로 내가 얻은 인사이트.
- 무신사를 이용하는 고객들에 대한 정확한 인지가 필요하다.
- 다른 곳에서 성공한 사례가 있다고 대입하는 것은 옳지않다.
- 조금 더 세분화한 A/B 테스트를 필요로 할 수도 있다.
- 정량적인 데이터를 기반으로 한 A/B 테스트는 필수적이다.
3. 기획 중인 MVP 프로덕트의 A/B 테스트
A/B 테스트의 구성 요소 (기능 도입에 대한 A/B 테스트)
- 가설 - '무탠비교'를 도입하면 그 제품과 '무탠비교'의 표준이 되는 '무신사스탠다드' 제품의 구입률이 올라갈 것이다.
'무탠비교'를 도입하면 고객들이 사이즈 선택에 좋은 경험을 할 것이다. - 목표 - '무탠비교'를 도입한 제품의 매출 증가와 해당 제품의 사이즈 관련 문의 10% 이상 저하
'무탠비교'의 표준으로 채택한 '무신사스탠다드' 제품의 매출 증가 - 기간 - '무탠비교' 도입 후 28일
- 대상 - 20대 ~ 30대 남성 / 무신사 구매 이력이 없는 고객
20대 ~ 30대 남성 / 무신사에서 구매 이력이 2회 이하인 고객
20대 ~ 30대 남성 / 무탠다드를 1회 이상 구입한 고객 - 측정 지표 - '무탠비교' 도입 제품의 구매전환율, 매출량 / 제품의 문의 중 사이즈 관련 문의의 비율
'무탠비교'의 표준으로 채택한 '무신사스탠다드' 제품의 매출량
신규 유입 고객의 '무탠비교' 기능 채택한 상품과 '무탠비교' 기능이 없는 상품 중 어떤 제품이 구매전환율이 높은지.
(같은 카테고리의 구입률이 비슷한 상품을 비교한다.)
위의 요소는 무탠다드 기능을 도입이 중점이라고 생각한다.
'무탠비교'를 도입을 하였을 때와 하지 않았을 때의 고객이 느끼는 만족도와 구입률을 조사하기에 적합하다고 생각이 들었다.
아래는 UI / UX에 대한 A/B테스트에 대한 요소이다.
- 가설 - 기존 A안은 무탠비교가 눈에 띄지 않아서 고객이 무탠비교 기능을 사용하는데 어려움이 있을 것이다.
그래서 아래에 '무탠비교'에 대해서 설명을 하고 대표 사진 하단에도 '무탠비교'가 도입된 것을 알렸다. - 목표 - '무탠비교' 박스의 클릭 횟수의 상승과 '무탠비교' 기능 도입 상품의 매출량 증가
- 기간 - '무탠비교' 도입 후 28일
- 대상 - 20대 ~ 30대 남성 / 무신사 구매 이력이 없는 고객
20대 ~ 30대 남성 / 무신사에서 구매 이력이 2회 이하인 고객
20대 ~ 30대 남성 / 무탠다드를 1회 이상 구입한 고객 - 측정 지표 - '무탠비교' 박스의 클릭 수 / 기능 도입 제품의 클릭 수
기존에 기획 중인 A안
기존 기획에 추가한 기능
M 무탠비교 라는 로고를 새롭게 추가하여 사용자들의 인식을 편하게 하였다.
새롭게 기획한 B안
여러 의견을 들어본 결과 B안이 '무탠비교'라는 기능에 대해서 인지하기가 더욱 쉬웠고, 그렇게 불편함을 주지 않기 때문에 좋다고 평을 들었다.
고찰 - 과제에서는 신규 유입률이 낮기 때문에 신규 유입을 올릴 수 있는 A/B테스트라고 하였다.
하지만 나의 '무탠비교' 기능 추가로 신규 고객에 대한 유입을 크게 올릴 수 없다고 생각한다.
'무탠비교' 기능의 추가는 기존 고객들이나, 이미 유입이 된 고객에게 사이즈를 편하게 고를 수 있는 기능이라고 생각된다.
즉 나의 '무탠비교' 기능과 연관이 깊은 지표는 '구매전환율', '유입이 된 고객이 다음 단계로 넘어가는 비율'정도를 꼽을 수 있겠다.
그렇다면 '무탠비교'로 신규유입을 잡기 위한 것에는 무엇이 있을까?
1. 앱 스토어 최적화 - 앱 스토어에서 유입하는 고객에게 '무탠비교' 즉 사이즈 비교 기능을 도입하여 선택에 편리함이 있음을 알린다.
2. 기존 광고 채널 이용 - '무탠비교' 기능의 도입으로 기획전 혹은 이벤트(무탠비교 도입 상품 10%할인, 쿠폰제공 등)를 진행하여 기능을 알린다.
3. 기존 첫 구매(990원) 이벤트 이용 - 기존의 첫 구매 이벤트는 '무신사스탠다드' 제품이 대부분이다.
그렇지만 제품이 많지 않다. 이 때 '무탠비교'의 기준이 되는 제품을 첫구매 혜택에 상품에 도입한다.
(무탠비교의 기준이 되는 제품을 이벤트화 함으로써 그 이후 무탠비교 기능이 있는 제품에 관심을 보일 가능성을 높인다.)