A/B 測試與多變量測試的使用指南 - Mixpanel
熱門話題

定義a/b測試與多變量測試

Yi Ting Kwa Marketing, APAC @ Mixpanel

A/B 測試,也稱作拆分測試,是用來比較網頁的兩個版本,以確定哪一個能滿足特定的轉換目標。通常,在這兩者之間會存在顯著的差異,也有可能完全不同。這種測試方法還可以用於比較電子郵件、應用程式介面或是廣告的兩個版本。

然而多變量測試則是用於衡量多個頁面部分或元素組合的變化情況。為每一種變體組合製作非常相似但獨特的頁面,以確定哪一個具有最佳的轉換率。在這種測試的類型中,我們可以知道哪一種元素對於用戶參與度的影響最大,有助於優化網頁裡的各個元素。

舉個例子, A/B test 是用來比較兩個或兩個以上有完全不同的標題、文案、CTA 和圖像的頁面;多變量測試是用於比較相同的頁面,並在這之中排列組合不同的字體和 CTA 大小。像是建立了四個頁面來比腳所有可能的變體組合:字體 1 / CTA 1、字體 1 / CTA 2、字體 2 / CTA 1、字體 2 / CTA 2。

A/B 測試和多變量測試之間的主要區別

儘管兩者之間有著一些相同的原則和工具,但 A/B 測試和多變量測試在許多方面都有顯著的差異,以下列出幾點分析:

  1. 變化組合:也許很多人覺得多變量測試相較於 A/B Test 更加的複雜,因為他需要更多的變體組合,可能有數十種變量組合進行比較和對比。
  2. 測試頁數: A/B Test 只會有網頁的兩個版本,有時會有三至四種。但在多變量測試中,可能會含有幾十種不同版本的網頁。
  3. 流量需求:在兩種測試中,流量會在網頁之間平均分配。表示比起只有少數頁面版本的 A/B Test,多變量測試需要在多個頁面版本的測試中,得到具有意義的結果,所以需要更多的流量。例如,如果你的頁面在一週內獲得了一千次的觀看,A/B test 的每個頁面會獲得 500 次的查看次數,若是進行包含 10 個頁面版本的多變量測試,每一個版本只會獲得 100 次的瀏覽。
  4. 整體與局部優勢:A/B Test 經常用於找到最佳的整體頁面;多變量次測試則是用於找到頁面上各種元素的最佳版本。
  5. 大變化與細微變化:A/B Test傾向於比較具有重大變化且截然不同的頁面;多變量測試往往只是微小且不明顯的差異。
  6. 解讀結果:A/B Test 的結果通常比較容易解讀,因為測試頁面不同,數量也較稀少。多變化測試則因為變化較細微,數量也較多,導致測試結果沒有那麼清楚。
  7. 結果所需時間:因為變化的數量與流量的需求,A/B Test 能更快速地提供結果,反之,多變量測試則需要數月的時間。

如何進行測試

A/B Test 和多變量測試的執行方法類似。最主要的區別在於前者測試一次只查看一個變量或是整個頁面性能,後者則是一次測試多個變量。

A/B 測試

透過 A/B 拆分測試,你將提供兩個版本的網頁,像是電子郵件、廣告等等,並按照 50/50 的比例拆分他們之間的流量,來確定哪一個版本的表現更好。不管哪個登錄頁面被認為是最好的,都可以針對該網頁的另一個版本來進行測試。

例如:

  1. 測試 1 – 當前控制頁面與頁面 A 。分析表示,頁面 A 的表現優於控制頁面。
  2. 測試 2 – 頁面 A 與頁面 B 。分析表示,頁面 A 再次表現較佳。
  3. 測試 3 – 頁面 A 與頁面 C 。分析表示,頁面 A 再次表現最佳。考慮到所有三個 A/B 拆分測試的結果,確定登入頁應該是頁面 A 版本。 

第二種測試方法是 A/B/n 測試 ,你只需要同時比較頁面中的多個版本,並且平均分配流量,不僅僅只用兩個頁面來進行多個測試。

例如:目前控制頁面、頁面 A、頁面 B、頁面 C,將四個頁面個別分配 25% 的流量。

多變量測試

在進行多變量測試前,需要先確定 KPI 以及更有可能影響到它們的元素。接著,要決定測試元素中的哪些變體。因為需要比較每個可能的組合,多變量測試比 A/B Test 還需要更多的頁面版本。但這也跟 A/B 拆分測試一樣,每一個頁面的流量需要被平均分配。

例如:三個標題、兩個 CTA、兩個圖像,就會成為 12 個組合的頁面。

使用a/b測試或多變量測試的時機

在不同的時機點使用的測試方法不同,以下是使用 A/B Test 最好的使用時機:

  1. 只測試一個變量
  2. 測試網頁的兩個截然不同版本
  3. 做出重大改變(像是有兩個完全不同的設計)
  4. 急需數據和洞察力 
  5. 多場景體驗
  6. 使用有限的流量
  7. 在開始階段還在做客戶開發

然而,多變量測試不像是 A/B Test 那樣被廣泛的使用,但他們提供了無法透過拆分測試獲得的洞察力。且當一個元素在各種頁面上使用的時候,多變量測試就特別的有效用。以下是使用變量測試的最佳時機:

  1. 要組合測試的變量不止一個
  2. 登入頁有大量流量 
  3. 完善已經優化的現有登入頁面
  4. 試圖了解哪些頁面元素對轉化率和 KPI 的影響最大
  5. 嘗試優化特定元素
  6. 登入頁的轉換率很高(超過 10%)

什麼時機適合同時使用兩種測試?

許多網頁設計師會在某些情況下同時使用 A/B 測試和多變量測試。可以先使用 A/B Test 來確定哪一種設計或登入頁面轉換的效果最好,當頁面的流量增加,就可以使用多變量測試來微調頁面元素,並為未來的發展獲得高度洞察力。

結合使用這兩種測試可以幫助你獲得最佳轉換率。 兩種測試方法都是有益處的,他們也各有優缺點,將他們結合使用是讓特定網頁全面優化的最佳方式。