[내배캠] Day 28 | 서비스 기획 숙련 과제, A/B 테스트 특강, KPT 회고

 

 

시각	내용
09:00 - 09:15	데일리 스크럼 작성
09:15 - 09:30	팀 스크럼
09:30 - 13:00	서비스 기획 숙련 과제: 레퍼런스 서치 및 해결 방안 도출
13:00 - 14:00	개인 정비 시간
14:00 - 16:00	서비스 기획 숙련 과제: 레퍼런스 서치 및 해결 방안 도출
16:00 - 17:00	A/B 테스트 특강
17:00 - 18:00	서비스 기획 숙련 과제: 레퍼런스 서치 및 해결 방안 도출
18:00 - 19:00	개인 정비 시간
19:00 - 20:00	서비스 기획 숙련 과제: 레퍼런스 서치 및 해결 방안 도출
20:00 - 20:30	팀 스크럼
20:30 - 21:00	TIL 정리

 

 

 

 

서비스 기획 숙련 과제

 

01. 기준 서비스 전제

 

• 데이터셋에 포함된 컬럼과 값의 특성을 바탕으로 서비스 유형을 가정하였다.
• 상품 카테고리(fashion, bag, accessory, outlet)를 고려하여 패션 커머스 서비스로 가정하였다.
• 웹 분석 도구에서 흔히 볼 수 있는 유입 경로(search/ad/organic)와 PDP 직전 페이지(search_results/homepage/ad_landing)를 고려하여 웹 기반 커머스로 가정하였다.
• 데이터셋에 리뷰 클릭 여부・할인 노출 여부 등의 사용자 행동이 포함되어 있는 점을 고려하여, '퀸잇'의 상세 페이지를 레퍼런스 화면으로 활용하였다.

 

 

02. 레퍼런스 분석

 

(1) 전제 조건

• 레퍼런스 분석은 웹·앱 여부보다 동일한 패션 커머스 서비스라는 점에 초점을 두고 진행하였다. 구매 판단에 필요한 정보 제공 방식과 사용자 경험을 중심으로 주요 사례를 참고하였다.
• 2026년 GMV(거래액) 순위 기준으로 (무신사 → 에이블리 → 지그재그 → 29CM → W컨셉) 레퍼런스 대상을 선정하였다.

 

(2) 레퍼런스 분석

 

• 상품 이미지를 가장 크게 노출하여 사용자가 상품의 디자인과 분위기를 먼저 확인할 수 있도록 구성
• 정가보다 할인 적용 가격 또는 혜택 적용 가격을 강조하여 실제 구매 비용을 직관적으로 전달
• 별점과 리뷰 수를 상단에 노출하여 상품 신뢰도를 빠르게 판단할 수 있도록 함
• 쿠폰, 적립, 카드 할인 등 혜택 정보를 가격 영역 인근에 배치하여 혜택 인지성을 높임
• 배송비, 배송 예정일 등 배송 관련 정보를 상단 영역에서 확인할 수 있도록 제공
• 장바구니·구매하기 버튼을 시야 내에 고정하거나 강조하여 즉시 구매 행동이 가능하도록 구성
• 상단에서는 구매 여부를 판단할 핵심 정보를 제공하고, 하단에서는 구매 결정을 검증할 수 있는 상세 정보를 제공하는 구조를 사용

 

(3) 참고할 만한 점

 

• 전 상품 무료 배송 정책에 대한 명확한 안내 (예: 무신사 회원은 전 품목 무료배송)
• 배송 정보를 예상 출발일 중심으로 안내하여 상품 수령 시점을 직관적으로 확인할 수 있도록 함
  (예: 오늘 3시 전 주문 시 오늘출발, 06.18 이내 발송 예정)
  ※ 퀸잇도 일부 상품에 한해 출고일 정보를 제공하고 있으나, 상품별 노출 여부가 상이함
• 검색 유입 사용자가 상품의 특징을 빠르게 파악할 수 있도록 상품 관련 키워드 노출
  (예: #여리여리, #여름블라우스)
• 브랜드의 특성과 신뢰도를 전달할 수 있는 브랜드 관련 키워드를 제공
  (예: #20대선호 #캐주얼 #마켓신뢰도95% #지속가능한소재)

 

03. 해결 방안 도출

 

(1) 브랜드 특성을 한눈에 파악할 수 있는 소개 문구 제공

 

기존 서비스는 브랜드명 외에 브랜드의 특징을 파악할 수 있는 정보가 제한적이었다. 이에 브랜드 소개 문구를 상단에 노출하여 사용자가 브랜드의 스타일과 특성을 빠르게 이해할 수 있도록 개선하였다. 브랜드명 및 소개 문구 클릭 시 브랜드 홈으로 이동할 수 있도록 하여 사용자가 브랜드 정보를 추가로 탐색할 수 있도록 하였다.

 

(2) 전 품목 무료 배송 안내 문구 추가

 

기존 서비스는 회원 대상 전 품목 무료 배송 정책을 제공하고 있음에도 해당 혜택이 상세 페이지 상단에서 명확하게 인지되지 않았다. 이에 배송비 영역에 ‘회원은 전 품목 무료 배송’ 안내 문구를 추가하여 사용자가 구매 혜택을 직관적으로 확인할 수 있도록 개선하였다.

 

(3) 상품 특징 키워드 제공

 

기존 서비스는 상품의 핵심 특징을 상세 페이지 상단만 보고 파악하기 어려웠다. 이에 상품의 스타일, 소재, 활용 상황 등을 키워드 형태로 제공하여 사용자가 핵심 정보를 빠르게 확인할 수 있도록 개선하였다. 상품 특징 키워드는 클릭 가능한 형태로 제공하여 동일 태그가 적용된 상품 목록을 탐색할 수 있도록 하였다.

 

04. 목표 지표 설정과 A/B 테스트 설계

 

핵심 KPI인 상세 페이지(PDP) → 장바구니 담기 전환율 외에도 보조 지표, 가드레일 지표를 함께 생각해 보았다.

일단 러프하게만 진행해 둬서 정리는 내일 TIL에 하도록 하겟숨.......

 

 

 

 

A/B 테스트 특강

 

01. A/B 테스트의 필요성

 

A/B 테스트 없이 배포했는데 고객 이탈률이 증가했을 때

 

• 에러 확인 후 모니터링하며 점진적으로 배포
  → 결과가 변경한 요소 때문인지 외부족 요인에 의한 결과인지 모호
• A/B 테스트로 기존 안, 신규 안의 데이터를 비교한 후 배포
  → 데이터를 기반으로 개선 방향을 잡는 장점

 

02. A/B 테스트란?

 

• 기존 안과 새로운 안 중 어떤 것이 더 나은지 선택하기 위해 두 집단의 사용자 반응을 비교하는 대조 실험 방식 중 하나
• 2가지 이상 옵션의 사용자 반응을 비교할 수도 있음
• A/B 테스트가 유용한 경우 예시
  • 신규 기능이 추가되면 유저가 우리 제품에 더 만족할까?
  • Push 메세지에 어떤 문구를 넣어야 클릭률이 높을까?
  • 어떤 추천 시스템이 유저에게 더 잘 추천했다고 볼 수 있을까?
  • 어떤 고객에게 할인 쿠폰을 줘야 효과적일까?

 

03. A/B 테스트의 단계

 

(1) 목표 설정: 상품을 더 많이 팔아야 한다 → 노출 대비 구매 전환율 상승

(2) 가설 설정: "리스트 정렬을 추천순이 아닌 판매순으로 보여 주면 노출 대비 구매 전환율이 상승할 것이다."

(3) A, B 그룹 설정

(4) 실험 설계: 측정 지표, 실험 기간, 성공 기간, 그룹 분배 등 설계

(5) 실험 실행

(6) 데이터 분석

(7) 결과 도출

(8) 반복

 

04. 실험 계획 설계 시 알아야 할 것

 

(1) 문제 정의: "예약 버튼 클릭률이 목표치 대비 n% 미달이다."

 

(2) 변경 대상 설정: [예약 버튼] 위치

 

(3) 문장 형태의 가설 수립: "예약 버튼을 가격 정보 위에 위치시키면 클릭률이 증가할 것이다."

 

(4) 유의할 것

• 하나의 테스트에서는 하나의 변경 대상만 테스트
• 변경 대상은 사용자 경험에 큰 영향을 미칠 수 있는 요소로 테스트
• 정량적으로 측정할 수 있는 지표를 설정
  • 성공 지표: 프로젝트의 성공을 증명할 수 있는 지표로 보통 하나만 설정하는 게 좋음
  • 보조 지표: 실험 결과를 더 깊이 이해하는 데에 도움 (주문 전환율 ← 상품 노출 대비 장바구니 담기율)
  • 가드레일 지표: 프로덕트가 원치 않는 방향으로 나아가고 있는지 확인하는 지표
• 성공 지표가 너무 안 나올 때?
  • 테스트는 계획대로 중단하지 않고 끝까지 하는 것이 좋음
  • 보통 중단하는 경우는 가드레일 지표에 문제가 생길 때

 

(5) 샘플링: 전체 서비스 이용자 중에서 일부 사용자를 선택하는 과정

• 무작위 할당 (※ 한번 정해진 그룹은 바뀌지 않음)
• 샘플 사이즈
  • 어느 정도 규모의 사용자가 실험에 참여할 때 결과를 신뢰할 수 있다고 여길지 정해야 함
  • 샘플 사이즈가 클수록 결과 차이가 작아도 유의미한 결론
  • 샘플 사이즈가 작으면 두 그룹의 결과가 확실하게 큰 차이가 나야 유의미함
  • "A 그룹과 B 그룹의 차이가 어느 정도 나기를 기대하는가?"를 먼저 결정한 후 이에 대응하는 샘플 사이즈 계산
  • ABTasty 샘플 크기 계산기, AI 활용

 

05. 실험 진행 시 알아야 할 것

 

• 최소한 일주일은 실험을 진행 (요일・특정 시즌 이벤트・주요 배포 일정에 영향 받을 수 있음)
• 모니터링
  • 사용자들이 계획대로 실험 그룹에 할당되고 있는지 확인
  • 내부 직원들의 데이터 필터링 (모수가 크지 않을 때 특히 주의)
  • 데이터 수집이 잘 되고 있는지 모니터링
  • 의사결정의 기준이 되는 성공 지표를 중간에 변경하지 않기
  • 가드레일 지표에 심각한 문제가 있다면 실험 중단
  • 예정된 실험 기간 동안 필요한 샘플사이즈가 충족될 수 있을지 확인
    ※ 실험 기간을 늘리거나 보조 지표 확인 가능 → 기간을 늘리면 외부 요인 영향이 커질 수 있으므로 주의

 

06. 실험 결과 분석 시 알아야 할 것

 

(1) 실험 플랫폼: 실험을 빠르고 편리하게 수행할 수 있도록 도와주는 툴

• A/B 그룹에 배분되는 사용자를 플랫폼 내에서 일관되게 분류
• 실험의 중지, 종료, 실험군의 비율 조정을 실시간으로 배포 없이 설정
• 실험 결과와 통계적 유의성을 데이터 추출 과정 없이 실험 플랫폼 대시보드에서 실시간으로 확인

 

(2) 핵클, Hackle

• 전환율 = 총 이벤트를 일으킨 사용자 수 / 노출된 사용자 수
• 예: 그룹 B의 그룹 A 대비 개선율 = (그룹 B 전환율 - 그룹 A 전환율) X 100

 

(3) 통계가 유의미한지 확인하는 기준

• p-value: 신뢰도 값, 0.05보다 작으면 통계적으로 의미 있는 차이
• 신뢰 구간: 대조군 대비 개선율이 들어갈 수 있는 범위

 

(4) 해석 시 주의사항

• 실험 초반의 결과만 가지고 결정해서는 안 됨 (초두효과, 신기효과)
• 두 그룹의 성공 지표가 비슷한 경우: 보조 지표나 데이터를 세그먼트 단위로 나누어 심층적으로 분석

 

07. A/B 테스트의 한계

 

• 기존의 선택지 중 더 나은 결정은 가능, 새로운 아이디어를 도출하거나 큰 그림을 그리는 데에는 한계
  → 조건 및 변수를 신중하게 설정, 로그 분석이나 유저 인터뷰 등 보완적 방법을 함께 사용
• A/B 테스트 결과는 테스트 당시에만 유효함

 

 

 

KPT 회고

 

Keep

 

• 경쟁사 상세 페이지를 비교하며 개선안의 근거를 보강함

 

Problem

 

• 해결 방안과 효과를 검증할 지표가 명확히 연결되지 않아 고민이 길어짐

 

Try

 

• 개선안 도출 단계부터 검증 지표와 A/B 테스트 방법을 함께 고려하며 설계해 보기