AB 테스트: 무엇이며 어떻게 작동할까요? - Mixpanel
인기 있는 주제

AB 테스트: 무엇이며 어떻게 작동할까요?

Last edited: 2월 2, 2022
Yi Ting Kwa Marketing, APAC @ Mixpanel

AB 테스트란?

AB 테스트는 A와 B 두 개(또는 그 이상)의 변수를 갖는 실험입니다. 웹 사이트 디자인이나 이메일 마케팅 캠페인, 광고 및 콘텐츠 전략 등에서 특정 자산의 여러 버전을 테스트하여 가장 효과적인 변형을 찾는 데 사용됩니다. 즉, AB 테스트의 목적은 더 가치 있는 변수를 식별하여 최적의 시안을 선정하는 것입니다. 

AB 테스트는 1회 시행으로 끝나는 것이 아니라, 지속해서 반복하는 것이 중요합니다. 예를 들어 웹 사이트에서 CTA(Call to Action)를 추가할 경우, 팀이 원하는 최상의 결과를 얻을 CTA 설계를 찾을 때까지 AB 테스트를 수행하는 것이 좋습니다.

AB 테스트를 시행할 때 주의할 점은 “B”가 한 고객 세그먼트에서 가장 효과적이라는 결과를 얻었다고 하더라도 다른 고객 세그먼트에서는 “A”가 더 효과적일 수 있다는 것입니다. 다시 말해, AB 테스트는 특정 고객 세그먼트에 최적화된 맞춤 버전을 찾기 위한 방법으로, AB 테스트를 통해 얻은 특정 결과가 모든 상황에 적용되는 정답은 아닙니다.

참고 | Call To Action (콜 투 액션)

마케팅이나 판매 촉진 시 타깃 사용자의 반응을 유도하기 위해 요청하는 행위. 타깃이 무엇을 해야 할지, 어디를 클릭해야 할지 등을 알려주는 것으로, 관련 웹사이트 내 클릭을 유도하는 문구의 버튼을 통해 타깃의 행동을 유도한다. 예: 지금 쇼핑하기(Shop Now), 지금 예약하기(Book Now), 여기를 클릭하세요(Click Here) 등

AB 테스트가 중요한 이유

제품 디자이너와 개발자, 마케터 모두 자신의 창작물에 푹 빠져 객관적으로 바라보지 못하는 실수를 범하곤 합니다. 비즈니스에서 시간 및 비용 낭비를 최소화하고 올바른 방향으로 나아가는 것의 중요성을 고려할 때, AB 테스트는 팀이 제품을 현실적으로 파악하고 개선하기 위해 필요한 중요한 도구입니다. 즉, AB 테스트는 사용자의 실제 생각을 보여주기 때문에 이를 통해 제품 개발 및 개선의 올바른 방향을 알 수 있습니다. 

예를 들어 웹 사이트를 디자인할 때 각 버튼의 최적 위치를 어떻게 결정할지, 또는 어떤 그래픽을 사용하여 회원가입을 극대화할 수 있을지 등 사용자 행동 및 반응에 대한 최적의 결과를 AB 테스트를 통해 확실히 알 수 있습니다. 다음은 AB 테스트의 9가지 이점입니다.

  1. 사용자 환경을 개선합니다.
    웹사이트의 랜딩 페이지나 앱, 광고 또는 이메일에서 헤드라인, 이미지, CTA(Call-to-Action) 양식 및 언어, 레이아웃, 글꼴, 색상 등의 요소에 대하여 AB 테스트를 수행할 수 있습니다. 이때, 한 번에 하나의 변경 사항을 테스트하면 사용자의 행동에 영향을 준 것과 그렇지 않은 것을 확인할 수 있습니다. 이를 바탕으로 최적의 변경 사항으로 경험을 업데이트하면 전체적으로 사용자 환경이 개선됩니다.
  2. 콘텐츠를 개선합니다.
    AB 테스트는 콘텐츠 개선을 위해 사용되기도 합니다. 예를 들어, 광고 카피를 테스트하려면 사용자에게 보여줄 잠재적인 개선사항 목록이 필요합니다. 이러한 목록을 만들어 개선을 고려하고, 평가하는 과정에서 비효율적인 언어를 찾아냅니다. 이를 바탕으로 최적의 광고 카피를 반영 및 개선하여 만든 최종 버전으로 사용자에게 더 나은 콘텐츠를 제공합니다.
  3. 반송률이 감소합니다.
    AB 테스트의 결과는 방문자들이 사이트나 앱에 더 오래 머물 수 있도록 도와주는 요소들의 조합을 나타냅니다. 방문자들이 사이트에서 보내는 시간이 길어질수록 콘텐츠의 가치를 더 많이 발견할 수 있으며, 이는 결국 (구매) 전환으로 이어지게 됩니다.
    참고 | 반송률 (返送率, bounce rate)
    웹 사이트 접속자가 해당 웹 사이트에 접속했으나, 사이트 내에서 정보를 얻지 않고 다른 페이지로 이탈하거나 그냥 나가는 비율. 반송률이 높다는 것은 홈페이지 방문이 제품의 구매 등 전환으로 이어질 가능성이 적다는 의미이다.
  4. 전환율이 증가합니다.
    AB 테스트는 페이지 방문을 가입 및 구매로 전환할 수 있는 최상의 콘텐츠를 결정하는 가장 간단하고 효과적인 방법입니다. 따라서 AB 테스트를 통해 무엇이 효과가 있고, 없는지를 파악하면 전환율 향상에 도움이 됩니다.
    | Mixpanel을 사용하여 핵심 사용자 작업에 이르는 최적의 경로를 파악하고 전환율 개선하는 방법
  5. 전환가치를 향상합니다.
    AB 테스트를 통한 학습 내용이 한 번 성공적으로 적용되었다면 그 이후 다른 제품 및 서비스 페이지 등에 추가 적용할 수 있습니다. 예를 들어, 새로운 고가의 제품 라인을 런칭하기 전에 새 이커머스에 필요한 요소들을 AB 테스트하면 새 비즈니스 모델의 성공을 예측하는 데 큰 도움이 됩니다. 이 페이지들에서 더 나은 참여율을 이끌어냈다면 이는 결국 전환에서도 유사한 상승을 보여줄 것입니다.
  6. 분석이 쉬워집니다.
    AB 테스트의 성공 여부 판별은 간단합니다. 어느 페이지 또는 앱의 지표가 목표(소요 시간, 전환 등)에 더 근접한 지 따져보면 됩니다. 하지만 이러한 지표를 어떻게 분석하고, 활용할 수 있을까요?
    과거에 AB 테스트 지표는 원시 수치일 뿐이었습니다. 이를 비즈니스 의사결정에 사용하려면 이러한 수치를 해석하여 유의미한 인사이트를 도출해낼 수 있어야 하는데, 그렇다면 어떻게 효과적으로 분석할지가 관건이었습니다. 하지만 현대에는 Mixpanel과 같은 강력한 제품 분석 솔루션을 통해 제품의 사용자 참여를 늘리고, 고객 유지율을 높이고, 전환을 증가시킬 수 있는 인사이트를 발견하는 것이 쉬워졌습니다. AB 테스트에서 성공적인 변형 파악하고, 지표를 쉽게 확인 및 분석하고, 사용자에 대한 강력한 인사이트를 바탕으로 의사결정을 내릴 수 있습니다.
  7. 위험을 줄입니다.
    AB 테스트를 통해 비효율적인 것으로 판명된 요소를 배제하여 시간과 비용 낭비를 최소화할 수 있습니다. 즉, AB 테스트를 시행하여 새로운 변경으로 인해 전환율이 낮아질 수 있다는 것을 알게 된다면 큰 손실이 발생하기 전에 중단할 수 있습니다. 구체적인 정보를 바탕으로 효율적인 의사 결정을 내리고, 부정적인 결과를 초래할 수 있는 실수를 방지할 수 있습니다.
  8. 구매 포기율이 감소합니다.
    이커머스의 경우, 잠재 고객이 장바구니에 담은 상품을 결제하기 전에 구매를 포기하는 문제가 자주 발생합니다. 따라서 사용자가 상품에 대한 “구매” 버튼을 클릭한 후, 최종 결제를 완료하도록 하는 것이 중요한 과제입니다.
    AB 테스트는 어떠한 요소가 전환율에 영향을 미치는지 파악하고, 사용자가 결제를 마무리할 수 있도록 주문 페이지에 대한 최적의 조합을 찾는 데 도움이 될 수 있습니다.
  9. 매출을 증가시킵니다.
    AB 테스트를 통해 더 나은 사용자 경험을 제공하면 결과적으로 브랜드에 대한 신뢰를 높이고, 충성도가 높은 반복 고객을 창출하여 매출을 높일 수 있습니다.

AB 테스트는 어떻게 작동할까요?

AB 테스트를 실행하려면 테스트할 페이지 요소(예: CTA 버튼, 헤드라인, 문구, 이미지, 비디오 등)를 선택하고, 이를 한 버전의 페이지에서 변경합니다.

그다음 유사한 크기의 두 대상 그룹에 이러한 버전을 보여주고, 통계 분석을 사용하여 미리 설정된 목표에 근접한 버전을 결정합니다. 또는 전체 랜딩 페이지나 이메일 캠페인을 변수로 만드는 것도 고려할 수 있습니다. 즉, 완전히 다른 두 페이지(또는 이메일 캠페인)를 만들어 서로 테스트하는 것입니다.

실험에서 유효한 결과를 얻으려면 대조군(control group)을 설정해야 합니다. 대조군은 현재 사용 중이거나 주로 사용되는 랜딩 페이지의 변경되지 않은 버전으로, 결과를 벤치마킹하는 데 사용될 것입니다. 새롭게 구축할 대조 페이지의 다양한 버전을 “처리군(treatment group)” 또는 “챌린저(challenger) 페이지”라고 합니다. AB 테스트를 실행하고 결과를 분석한 후 “챔피언(champion)” 페이지, 즉, 설정한 목표치에 가장 근접한 최적의 페이지를 결정합니다.

페이지 변형에 트래픽을 할당할 때는 랜덤으로 유지하는 것이 중요합니다. 다만, 트래픽 양은 두 변형 페이지에 유사하게 보내 테스트의 무결성을 유지하고 결정적 결과를 얻도록 합니다. 트래픽 분할 시 가장 일반적인 방법은 50/50 또는 60/40의 비율로 유지하는 것입니다. 또한, AB 테스트에서는 시간이 중심적인 역할을 하므로 실험에서 둘 이상의 변형을 동시에 실행해야 한다는 점을 기억해야 합니다.

실험이 오류 없이 명확한지 확인하려면 다음의 AB 테스트 모범 사례를 따르세요.

  • 계절성 또는 타이밍 효과를 배제하기 위해 최소 7일 동안 테스트를 수행합니다.
  • 각 페이지에 최소 100명의 고유 방문자가 있는지 확인합니다.
  • 테스트하려는 이유에 대한 매우 명확한 목적 및 가설이 있어야 합니다.

AB 테스트 프로세스

  1. 1단계: 가설을 설정합니다.
    AB 테스트를 수행하기에 앞서 “귀무가설(null hypothesis, 歸無假說)”과 “대립가설(alternative hypothesis, 對立假說)”의 개념을 알아둡니다. 귀무 가설은 대조 그룹(현재의 원본)과 실험 그룹(처리군) 사이에 차이가 없다는 가설이며, 대립 가설은 대조 그룹과 실험 그룹 사이에 차이가 존재한다는 가설입니다.
    예를 들어, 소프트웨어 비용을 지불하는 사람들의 수를 늘릴 방법을 찾고 있는 소프트웨어 회사를 가정해보겠습니다. 사용자는 소프트웨어가 현재 설정된 방식으로 7일 체험판을 무료로 다운로드하여 사용할 수 있습니다. 이때, 회사는 홈페이지 레이아웃을 파란색 로고 대신 빨간색 로고로 강조하여 회사 소프트웨어에 7일 동안 사용할 수 있도록 변경하고자 합니다. 다음은 가설 테스트의 예시입니다.
    – 기본 작업: 파란색 로고를 승인합니다.
    – 대체 작업: 빨간색 로고를 승인합니다.
    – 귀무가설: 파란색 로고는 빨간색 로고보다 10% 이상의 라이선스 구매를 유발하지 않습니다.
    – 대립가설: 빨간색 로고는 파란색 로고보다 라이선스 구매가 최소 10% 더 많습니다.
    AB 테스트를 수행할 때 주의할 점은 테스트하고자 하는 요소만 변경한 채 그 이외의 다른 모든 변수는 일정하게 유지해야 합니다. 이를 변인통제(變因統制)라고 합니다.
  2. 2단계: 분할 및 평가 지표를 결정합니다.
    웹사이트에 방문할 때 사용자를 어디서 어떻게 실험 그룹으로 나눌 것인지, 그리고 실험 조작의 성패를 추적하기 위해 어떤 지표를 사용할지, 이 두 가지를 고려합니다.
    대조군(A 그룹)은 이전 홈페이지를 볼 것이고, 실험군(B 그룹)은 7일 체험판을 강조하는 새로운 홈페이지를 볼 것입니다.
  3. 3단계: 대조 그룹과 실험 그룹을 만듭니다.
    귀무가설과 대립가설을 결정한 후, 다음 단계는 대조 그룹과 실험 그룹(변수)을 만드는 것입니다. 이 단계에서는 표본 추출과 표본 크기라는 두 가지 중요한 개념을 고려합니다.
    | 표본 추출 (샘플링)
    랜덤 샘플링은 가장 일반적인 샘플링 기법 중 하나입니다. 모집단의 각 표본이 선택될 확률은 동일합니다. 랜덤 표본 추출은 표본 추출 편향을 제거하기 때문에 가설 검정에서 중요하며, AB 테스트의 결과가 표본 자체보다는 전체 모집단을 나타내기를 원하기 때문에 편향을 제거하는 것이 중요합니다.
    AB 테스트의 문제점은 타깃 그룹을 제대로 정의하지 않았거나 제품 초기 단계에 있는 경우 고객에 대해 잘 모를 수 있다는 것입니다. 사용자가 누구인지 잘 모를 경우 잘못된 결과를 초래할 수 있습니다. 따라서 사용 사례에 적합한 표본 추출 방법을 이해하는 것이 중요합니다.
    | 표본 크기
    너무 적은 수의 관측치를 표본 추출할 경우, 탐지 범위 내에서 편향(치우침)이 발생합니다. 이를 제거할 수 있으려면 AB 테스트를 수행하기 전에 먼저 최소 표본 크기를 결정하는 것이 중요합니다.
  4. 4단계: AB 테스트의 집행 기간을 결정합니다.
    AB 테스트를 시행하기에 앞서, 테스트 집행 기간을 결정합니다. 예상 기존 전환율, 탐지 희망 최소 전환 개선율, 대조군을 포함한 변형/조합의 수, 일평균 방문자 수 등의 요소를 고려하여 AB 테스트에서 실제 유의성을 얻는 데 필요한 시간을 계산해보면 도움이 됩니다.
  5. 5단계: 테스트를 수행합니다.
    실험을 수행하고 데이터를 수집한 후, 관리 그룹과 변동 그룹의 차이가 통계적으로 유의한지 여부를 확인합니다. Mixpanel의 실험보고서 기능을 사용하면 변형이 여러 메트릭에 미치는 영향을 추적하고, 결과가 통계적으로 유의한지 한 곳에서 확인할 수 있습니다.
  6. 6단계: 결론을 도출합니다.
    유의미한 통계치를 바탕으로 변형된 요소가 대조군에 어떠한 영향을 미치는지 살펴보고 결론을 도출합니다. 팀의 목표에 비추어 볼 때, 예전 버전(대조군)을 새로운 버전으로 대체하기에 충분히 유의미한 결과를 얻었는지 결정할 수 있습니다.

홈페이지 방문율이나 증가율을 통해 라이선스 구매 건수가 크게 증가했는지 등의 특정 가설을 규명하려면 추가 실험을 하거나 데이터를 수집합니다. 즉, 새로운 사용자들을 끌어들였지만, 이 새로운 사용자들이 기존 사용자층과 같은 비율로 구매 전환하지 않았을 경우 개별 방문자에 대한 더 자세한 정보가 필요할 수 있습니다. 이때, Mixpanel과 같이 강력한 보고서 기능이 있는 제품 분석 소프트웨어를 사용하는 경우, 특정 사용자가 라이선스를 구입할 가능성이 더 높은지 확인할 수 있습니다. 이를 통해 수익 개선을 위한 추가 아이디어가 제시될 수 있습니다.