A/B 測試的完整介紹,什麼是A/B 測試?- Mixpanel
熱門話題

A/B 測試:具體定義和運行方式

Last edited: 1 月 31, 2022

A/B 測試(A/B test)或「拆分測試」是一種對網頁、應用介面、廣告、電子郵件甚至功能的版本差異進行測試的方法。譬如,UX 設計師、行銷人員或產品經理的初步目標是獲得更多註冊使用者,他們可以測試兩個具有相似受眾的版本。如果其中之一明顯勝出,他們就採用這個版本。因此,A/B test 對於設計使用者喜愛的產品至關重要。

Yi Ting Kwa Marketing, APAC @ Mixpanel

A/B 測試有什麼好處?

A/B test 在產品中能夠使其更加實際,對於產品設計師、開發人員、行銷人員來說,他們很容易會愛上他們自身的作品,因而產生盲點。然而, A/B test 可以讓他們知道使用者真實的想法。例如:在設計網站的時候,該如何確保每個按鍵的位子都是最佳位置?哪些圖樣可以帶來更多註冊的使用者?或是使用者喜歡哪一個版本的導覽列?只有 A/B test 才能讓我們知道更明確的答案。下面列出了對於數位產品進行 A/B test 的一些好處:

  • 最佳化效能
  • 揭示隱藏的趨勢和使用者行為
  • 融入使用者反饋

測試能使你更直觀的了解使用者對產品的渴望。許多時候,你和使用者的目標是相通的,你想要協助他們解決問題、享受體驗、購買商品或是獲得幫助。透過測試和最佳化使用者旅程的每個階段,可以加快這些過程的進行速度,並且讓雙方都能達成更多目標。另外,A/B test 是非侵入性的,大多數測試會是在使用者不知情的情形下發生,因此不會中斷他們的體驗。我們也必須留意,如何在操作AB 測試的同時,兼顧到顧客的個資安全與隱私。使用恰當的 A/B 測試工具時,他們會是自動進行的,設計師和行銷人員幾乎不需要投入精力就可以得到數據結果。經過反覆的測試後,產品逐漸會成為直觀、實用並且受人喜愛的產品。

 

A/B 測試可以測試哪些類型的對象?

使用正確的測試工具,就能夠測試網站、應用或宣傳的每一元素。我們列出幾個垂直領域 A/B test目標的常見範例:

  • 電子商務網站:增加購買量
  • 消費者應用:增加應用內花費的時間
  • 線上出版物:提高註冊轉換率
  • 商務應用:增加每使用者收益
  • 廣告:增加點擊量和購買量
  • 電子郵件行銷:提高打開率和點擊率

下方列出了一些您可以進行 A/B test 的變數類型範例:

行動呼籲(CTA

使用者造訪網站來閱讀部落格、購買產品、下載檔案,或是訂閱你的時事通訊。

  • 測試不同版本的 CTA 文字。識別哪一版本可產生更多轉換。
  • 在網站的不同位置測試 CTA 按鈕。
  • 對比測試一頁上多個 CTA 與一個大型 CTA。

漏斗

你的漏斗目標是讓使用者從 A 點前往 B 點。如果客戶經過漏斗需要的時間太長,就會發生大量的流失。

  • 對比測試原始漏斗和減少了步驟的漏斗。
  • 減少頁面上的干擾元素,如產品優惠或無關圖像,對這個版本進行測試。
  • 測試漏斗中不同版本的内文。版本 A 可以編寫的隨和一些(第一人稱),版本 B 版則則正式一些(第三人稱)。

廣告

如果不對廣告進行 A/B test,可能會造成花了錢後看不到效果的情形。

  • 測試付費行銷活動的不同標題。
  • 顯然,你也可以測試不同的廣告設計。
  • 甚至可以 A/B test 廣告引導使用者造訪的不同著陸頁版本。

社交媒體

A/B test 可以幫助你增加讚數和分享數量。

  • A/B test 不同的社交媒體圖示設計樣式、大小和頁面位置。
  • 調整社交媒體發言,直到確定一個可讓受眾積極回應的風格。

行動版網站

有些國家的民眾大多數是以「行動端」為主。也就是說,大部分線上活動都發生於行動裝置,而不是電腦。因此,他們大多數不喜歡繁雜或設計不良的行動版網頁。

  • 對引導使用者到所需目的地的連結的位置進行 A/B test。
  • 測試行動版網站的不同版本,以了解使用者停留時間更長或返回更頻繁的版本。
 

如何執行 A/B 測試

對於任何有上過小學自然科學課的人來說,A/B test 的過程都不陌生,因為 A/B test 反映了科學方法。測試人員對如何改善效能做出假設,像是創建文本、圖像、視訊等等。接著,他們會運行、分析並重複,在結論有意義時再加以實施。

第 1 步:定義您的目標 

你的最終目標是什麼?你所關注的是轉化、購買還是使用?不論是什麼,都要在測試前衡量指標,並且設定一個基準線。

第 2 步:研究您的現有數據 

如果分析的是網站,你的跳出率是否很高?如果是應用程式,使用率是否較低?如果是E-mail,點擊率是不是不高?檢查你的顧客旅程,以及轉換漏斗中最常流失客戶的地方。如果在表格或 CTA 等位置前發現明顯的錯誤,你就可以先在那裡進行測試。可以納入以下來源的數據:

  • 產品分析
  • 熱圖
  • 訪客錄音
  • 形式分析
  • 嵌入調查

第 3 步:假設 

在開始之前,是否能從過去的測試中吸收任何數據成果?過去是否有任何使用者反應不錯的特定功能、顏色或是位置?利用這些數據,對於如何改進結果訂定一個假設。比如說,「使 CTA 按鈕更加突出可讓點擊量增加 20%」。現在,創建一個反應你的假設的變體,這個可以很簡單,像是更改文本,也可以很複雜,例如建構新的表單、頁面或圖形。在上述例子中,我們將構建第二個 CTA 按鈕,但要記住,每次的測試變數不得超過一個。如果你同時測試兩個因子,例如同時變更了 CTA 的顏色和位置,我們就無法知道這兩個變化中,是哪一個影響了最終的結果。

第 4 步:測試和分析 

上傳你的變體並運行測試。運行經驗上準確的測試受到兩大因素影響:

  1. 樣本大小:需要足夠的受眾,結果才會有實際意義。根據 Hubspot 指出,該公司測試電子郵件的最低數量為 1000 封。這個數字對於網站和應用程式,可能高出許多。
  2. 統計顯著性:如果效能的差異很小(而且往往如此),要怎麼知道這不是簡單的源於抽樣錯誤呢?這時就必須要測試統計顯著性。如果 A/B test 結果具有統計顯著性,這就意味著結果並不是隨機或偶然的。計算 A/B test 結果的統計顯著性可以提供數字證據,以此證明這個結果並不是可靠或是有意義的。

根據結果和統計顯著性,你可以發現最終明顯的勝出者嗎?如果可以,就可以開始實施那項變更。如果不行,控制組(你的零架設)始終是勝出的,就不能實施那項變更。

第 5 步:發佈測試版本

當你已經完成了前面繁瑣的工作之後,就能夠利用一些平台,針對你的受眾發佈測試的版本,並時刻追蹤你的測試。切記,在此步驟必定要依照先前訂定的順序來安排測試,也要避免同時開啟過多的測試項目。

此外,當我們在正式測試以前,也可以使用問卷調查的方式,來快速的驗證是否能夠達到我們預期的目標,也能減少多餘的測試和成本。

第6步:分析最終成效

在 A/B test 的最後,我們可以分析最終的數據,從中判別出優化後的版本是否適合。不論結果成功與否,我們都要思考如何利用這些結果。A/B test 是不斷的重複的,實施所有成果之後,再繼續不斷的測試,如此一來,我們就能夠加強網站及應用的實用性。

超越 A/B 測試的高級測試技術

藉由簡單的測試對大量人群進行 A/B test 的效果不錯,但如果要利用更好的數據來磨練產品,我們可以利用以下的測試方法:

  1. 區隔測試:提供具可操作性的數據。對於數量過多的人群進行測試可以掩蓋某些人群的重大偏差。例如,如果普通使用者更喜歡 14 磅的字體,這可能就會掩蓋 10 歲以下或 65 歲以上,覺得它難以辨別清楚的事實。若想要迎合這些族群,可以利用基於年齡區隔來進行 A/B test,並在產品中添加控件,讓他們能夠根據自己的喜好來調整自己喜歡的大小。
  2. 多變量測試:將多個變數與單個控制組進行對比。也就是說,不僅僅是 A 對 B ,而是 A 對 B 和 C 等等。多變數測試需要的樣本量相對較龐大,而且需要產品分析軟體來正確的測量他們。

現在,花點時間來盤點你的產品行銷工具。他們允許你進行 A/B test 嗎?如果允許,你的轉換漏斗中也存在使用者發現摩擦的地方,就開始進行 A/B test吧!