※ 현재 데이터셋에는 실제 리뷰 위치, 리뷰 내용, 평점, 리뷰 수 컬럼이 없으므로 위 화면은 데이터 분석 결과를 바탕으로 한 개선안 초안이다.
7. A/B Test 설계
항목
내용
실험 목적
리뷰 판단 정보 미리보기 카드가 리뷰 클릭률과 장바구니 전환율을 높이는지 검증
대상
D 페르소나 : 광고 유입 비교 유저
필터 조건
traffic_source = ad
A안
기존 상세페이지
B안
리뷰 판단 정보 미리보기 카드 추가
분배 방식
사용자 단위 랜덤 50:50
Primary KPI
장바구니 전환율
Secondary KPI
리뷰 클릭률
Guardrail KPI
구매 전환율, 평균 체류시간
성공 기준
B안의 장바구니 전환율과 리뷰 클릭률이 A안보다 높고, 구매 전환율이 하락하지 않을 것
8. KPI
구분
지표
AS-IS
TO-BE
목표근거
Primary KPI
장바구니 전환율
27.9%
28.9%
현재 리뷰 클릭 유저 수준(47.9%)을 가정했을 때의 예상 전환율
Secondary KPI
리뷰 클릭률
38.5%
47.9%
현재 장바구니 전환 유저의 리뷰 클릭률
Guardrail KPI
구매 전환율
8.0%
8.0% 이상 유지
장바구니만 증가하고 구매가 하락하는 상황 방지
Guardrail KPI
평균 체류시간
68.0초
과도한 증가 없음
정보 과다로 인한 탐색 피로 방지
※ 현재 데이터셋에는 실험 데이터가 존재하지 않으므로, TO-BE 수치는 데이터 기반 가정값이며 실제 효과는 A/B Test를 통해 검증한다.
9. 예상 결과
항목
예상
리뷰 클릭률
38.5% → 47.9%
장바구니 전환율
27.9% → 28.9%
예상 장바구니 담기 사용자 수
73명 → 약 76명(+3명)
구매 전환율
8.0% 이상 유지 필요
10. 예상 리스크
리스크
설명
대응
리뷰 클릭만 증가
리뷰는 더 보지만 장바구니 전환으로 이어지지 않을 수 있음
Primary KPI를 장바구니 전환율로 설정
페이지 복잡도 증가
리뷰 카드 추가로 정보량이 많아질 수 있음
요약 카드 형태로 최소 정보만 노출
구매 전환율 하락
장바구니는 늘지만 구매 완료는 늘지 않을 수 있음
구매 전환율을 Guardrail KPI로 추적
체류시간 증가
리뷰 확인으로 탐색 시간이 과도하게 늘 수 있음
평균 체류시간을 함께 모니터링
리뷰 데이터 부족
리뷰가 적은 상품에서는 카드 효과가 낮을 수 있음
리뷰 1개 미만이면 영역 미노출 또는 대체 문구 제공
11. 왜 이 해결방안을 선택했는가?
이번 프로젝트에서는 장바구니 전환율에 영향을 줄 수 있는 여러 변수를 분석하였다.
분석 결과 리뷰 클릭 여부에 따른 장바구니 전환율 차이는 +11.1%p로 가장 크게 나타났다.
영향이 큼
↔
영향이 적음
리뷰 클릭 O : 34.7% 리뷰 클릭 X : 23.6% → 차이 : +11.1%p
할인 노출 여부 차이 : -0.7%p, 체류시간 차이 : 1.2초
또한 경쟁사 분석 결과 쿠팡, 아마존, 컬리, 오늘의집, 테무 모두 공통적으로 리뷰, 평점, 실사용 후기 등 신뢰 형성 정보를 강조하고 있었다. 따라서 본 프로젝트에서는 할인 정보 강화나 체류시간 증가보다 리뷰 기반 신뢰 정보 접근성 개선을 우선순위로 선정하였다.
이는 현재 데이터 분석 결과와 경쟁사 벤치마킹 결과를 모두 설명할 수 있는 개선 방향이라고 판단하였다.
12. 프로젝트 한계
이번 분석은 제공된 데이터셋을 기반으로 진행되었기 때문에 몇 가지 한계가 존재한다.
현재 데이터셋에는 다음과 같은 정보가 포함되어 있지 않다.
리뷰 위치 / 리뷰 수 / 평점 / 포토 리뷰 여부 / 리뷰 내용 / 리뷰 품질
따라서 본 프로젝트는 '리뷰 클릭 여부와 장바구니 전환율의 관계'를 확인한 수준이며, 리뷰 클릭이 실제로 장바구니 전환을 유발한다고 단정할 수는 없다. 또한 리뷰를 클릭하는 사용자가 원래 구매 의도가 높은 사용자일 가능성도 존재한다.
따라서 제안한 개선안의 실제 효과는 UT(User Test), 추가 로그 분석, A/B Test를 통해 검증이 필요하다.
13. 최종 결론
광고 유입 비교 유저(D)는 전체 평균보다 낮은 장바구니 전환율을 보였으며, 데이터 분석 결과 할인 노출 여부나 체류시간보다 리뷰 클릭 여부에서 가장 큰 전환율 차이가 나타났다. 또한 경쟁사들은 공통적으로 사용자를 오래 머무르게 하기보다 상품을 신뢰하고 판단할 수 있는 정보를 빠르게 제공하는 방향으로 상세페이지를 구성하고 있었다.
이를 바탕으로 광고 유입 사용자가 상품 판단에 필요한 리뷰 정보를 더 쉽게 확인할 수 있도록 '리뷰 판단 정보 미리 보기 카드'를 제안하였다.
본 개선안은 리뷰 클릭률을 높이고, 이를 통해 장바구니 전환율 상승 가능성을 검증하기 위한 가설 기반 개선안이다.
향후 A/B Test를 통해 실제 효과를 확인하고, 결과에 따라 추가 개선 여부를 판단할 수 있을 것으로 기대한다.
오늘의 인사이트
이전 프로젝트보다 경쟁사 분석을 더 디테일하게 진행했다.
이전에는 경쟁사의 특징만 비교했다면,
경쟁사 제품 페이지의 UI를 분석하고 '이 요소를 내 개선안에 반영한다면 어떨까?'을 같이 생각했다.
특히 같은 문제를 보더라도 쿠팡, 아마존, 컬리, 오늘의집, 테무는
모두 조금씩 다른 방식으로 제품 신뢰성을 높이고 있었다.
그중에서도 현재 과제 데이터가 말하는 문제와 가장 잘 연결되는 방식을 선택하게 됐는데,
사실 한 가지 사례만 참고한 게 아니라 조금씩 조합해 와이어프레임을 만들었다.
(굳이 똑같이 할 필요도 없고... 장점만 똑 떼서 작업하면 된다고 생각한다)
이번 과제에서는 리뷰 클릭 여부가 장바구니 전환율과 가장 큰 차이를 보였기 때문에
리뷰 판단 정보 미리 보기 카드를 제안했지만, 실제로 효과가 있을지는 아직 모른다.
그래서 이번에는 처음으로 KPI, Guardrail KPI, A/B Test까지 함께 설계해 보았다.
(사실 피드백에서 언급됐던 부분이라 한 번 넣어봤다 / 뭐든 디펜스가 중요하다)
이전에는 해결방안을 만드는 것에서 끝났다면,
이번에는 '효과가 있었는지 어떻게 검증할 것인가?'까지 생각해 보게 된 점이
아주 쬐끔 성장한 느낌이다.
콩나물처럼 쑥쑥 성장하면 좋으련만...
너무 과하게 욕심내면 체하기 마련이라는 걸 잊지 말자.
오늘의 KPT 회고
Keep
• 경쟁사 UI를 단순 비교하는 수준에서 끝내지 않고, 각 서비스가 어떤 문제를 해결하려고 하는지까지 분석했다. • 데이터 분석 결과와 경쟁사 사례를 연결하여 개선안을 도출하려고 노력했다. • 처음으로 KPI, Guardrail KPI, A/B Test 설계까지 포함해 '어떻게 검증할 것인가'를 고민해보았다.
Problem
• 와이어프레임을 만들면서 디자이너 본능이 발동해 생각보다 작업 범위가 커졌다(그만해... 그만해!!! 스탑잇!!!!). • KPI 수치 산정 과정에서 '어디까지가 데이터 기반이고 어디부터가 가정인가?'를 구분하는 부분이 여전히 어렵게 느껴졌다.
Try
• 다음 과제에서는 해결방안을 제안하는 것에서 끝내지 않고, 실험 설계와 검증 방법을 먼저 생각한 뒤 기능을 설계해보기. • KPI 설정 시 업계 벤치마크나 사례를 함께 찾아 근거를 보강하기.
