AB テストとは?モバイルアプリやサイトを最適化する手法とやり方 - Mixpanel
グロース

AB テストとは?モバイルアプリやサイトを最適化する手法とやり方

Last edited: 12月 27, 2021
Serene Ho

ABテスト(スプリットテスト)とは、Webページやアプリのインターフェース、広告、メールなどをテストする手法です。デザイナーやマーケティング担当者は、例えば、より多くの登録者を獲得するという目標を掲げ、似たようなオーディエンスを対象に2つのバージョンをテストします。その結果、明らかにより良い結果を出すバージョンがあれば、そのバージョンを採用して実装します。ABテストは、多くの人に愛されるプロダクトをデザインするために、非常に重要なテスト手法です。

ABテストとは?

ABテスト(スプリットテスト)とは、Webページやアプリのインターフェース、広告、メールなどをテストする手法です。デザイナーやマーケティング担当者は、例えば、より多くの登録者を獲得するという目標を掲げ、似たようなオーディエンスを対象に2つのバージョンをテストします。その結果、明らかにより良い結果を出すバージョンがあれば、そのバージョンを採用して実装します。ABテストは、多くの人に愛されるプロダクトをデザインするために、非常に重要なテスト手法です。

ABテストのメリット

ABテストを活用することで、よりデータドリブンで、地に足のついたプロダクト開発が可能になります。プロダクトデザイナーや開発者、マーケティング担当者は、自分の作ったものについ惚れ込んでしまいがちですが、ABテストを行うことで、ユーザーの本音を知ることができます。例えば、ウェブサイトをデザインするとき、ボタンの位置をどこに置くべきと思いますか?登録を促すバナーは?また、ユーザーが好むナビゲーションバーのバージョンは?こういったことは、ABテストでしか分からないことです。デジタルプロダクト開発におけるABテストのメリットには、以下のようなものがあげられます。

  • パフォーマンスを最適化する
  • 隠れたトレンドやユーザーの行動を明らかにする
  • ユーザーの声を反映する

テストを行うことで、ユーザーがプロダクトに何を求めているのか、核心に迫ることができます。多くの場合、ユーザーと開発者は、目的を共有しています。つまり、ユーザーが問題を解決したり、体験を楽しんだり、購入したり、助けを求めたりするのを助けたいのです。ユーザージャーニーの各段階をテストし最適化することで、ユーザーが次の段階に行きやすいようにすることができ、ユーザー開発者両方にとってメリットがあります。さらに、ABテストはユーザーに負担を与えることがなく、ほとんどの場合ユーザーが気づくことなく行われるため、ユーザー体験を妨げることがありません。適切なABテストプラットフォームを使えば、デザイナーやマーケターがテストを自動化できるため、少ない労力で効果を得ることができます。テストを繰り返すうちに、プロダクトは少しずつ、直感的で便利な、人々に愛されるプロダクトへと進化していくのです。

ABテストの種類

単一のURLページでのABテスト

いわゆる「ABテスト」と一般的に呼ばれるテストの種類です。あるページのURLを指定し、そのページに訪問したユーザーのうち、一定の割合のユーザーにオリジナルバージョンを、一定の割合のユーザーにテストバージョンを表示します。オリジナルバージョンとテストバージョンそれぞれで、どのくらいのユーザーが目標の行動をとったかを計測し、どちらのバージョンの方が良かったのかを特定することができます。

これは、バナーやCTAボタンのテキストや色など、特定のページの中の一要素をテストしたい場合に最適なテストです。逆に言えば、複数の要素を変更することは推奨されません。どの変更が要因で、良い結果(または悪い結果)が出たのかがわかりにくくなるためです。

リダイレクトテスト

二つのページを準備し、一定のユーザーをオリジナルのページに、一定のユーザーをもう一つのページにリダイレクトするテストです。ページ内の一要素ではなく、全面的にページを刷新する際に有効です。たとえば、新しいランディングページを作成し、既存のランディングページとどちらがよりパフォーマンスの良いページなのかを、データドリブンに特定することができます。

多変量テスト

多変量テストとは、1つのオリジナルバージョンに対して、複数のバージョンを設定するテストです。つまり、A対Bの代わりに、A対B、Cなどがあります。多変量テストは管理が複雑になることが多いので、ABテストツールを活用して多変量テストを実行し、分析に必要なデータを収集することが望ましいです。

ABテストの代表的な構成要素

ビジュアル(ファーストビュー、メインビジュアル)

ランディングページやメインページなどで、訪問時に最初に目に入るページ上部の範囲をファーストビュー(メインビジュアル、ヒーローセクションとも呼ばれます)といいます。ページに訪問してから、下にスクロールするに従って多くのユーザーが離脱していきますが、ファーストビューは全てのユーザーの目に入ります。そのため、ファーストビューにどんな文言や画像、CTAを置くかでページのパフォーマンスが大きく変化することがあります。

たとえば、良いパフォーマンスを出すテストとしてよくあるものとして、フォームをファーストビューに置くテストがあげられます。ページの中にあるフォームがページ下部にある場合、多くのユーザーはあなたのフォームを見ないまま、ページのどこかで離脱しています。そんな場合には、ファーストビュー内にフォームを置くだけで、リード獲得数を増やせるかもしれません。

テキスト(見出しなど)

あなたのページでは、あなたのサービスを一言でなんと表現していますか?もしかしたら、あなたのサービスをうまく表現できている、もっと良いコピーライティングがあるかもしれません。そんなときには、ページで最も目立つ部分にある見出しのテキストをABテストしてみましょう。

CTAやバナー、ボタン

CTA(Call To Action)ボタンは、ユーザーに行動を喚起させ、ユーザーに取って欲しい行動を誘導するボタンである必要があります。CTAやボタンでは、ボタン内にあるテキストだけでなく、色を変えて目立たせるだけでもテストで良い結果を出すことがあります。

また広告収入を得ているメディアサイトであれば、広告が表示されるバナーをページのどこに表示するのかによって、広告のクリック率が変化するため、売上が大きく変化することがあります。

サーバーサイドテスト

ABテストツールで実現できるテストには、フロントサイドのデザインを変更するものが多いですが、Optimizely など一部のABテストツールではサーバーサイドテスト機能を提供しています。フロントサイドのテストは、ユーザーはサーバーから情報を取得した後にJavaScriptが動作し、ユーザーのブラウザ上でテストが実行されます(レンダリングされます)。それに対して、サーバーサイドテストは、直接WEBサーバー上でテストが開始されます。

サーバーサイドテストでは、フロントサイドのテストでは難易度の高いテストも実行することができます。たとえば、フードデリバリーサービスにおけるレストランからあなたの現在地までの距離は、km(キロメートル)とm(メートル)のどちらがユーザーにとって使いやすいのでしょう?これを明らかにするには、サーバーサイドテストが有効です。

ABテストの実施方法

1. ゴールを決める

ABテストの最終目標は何ですか?コンバージョン、購入、それともサービス利用のどれに最も興味がありますか?どの目標でも、テストを行う前に指標を測定し、ベースラインを決めておきましょう。

2. 既存のデータを調べる

Webサイトを分析している場合、直帰率は高いでしょうか?アプリの場合、使用率は低いでしょうか?メールの場合、クリック率は低いでしょうか?カスタマージャーニーを調べ、コンバージョンファネル内のどこで顧客が落ち込むことが多いのかを調べます。フォームやCTAなどで明らかに離脱が見られる場合は、そこからテストを始めましょう。以下のデータを取り入れることを検討します。

  • プロダクト分析
  • ヒートマップ
  • ユーザーレコーディング
  • フォーム分析
  • 埋め込みアンケート

Mixpanelのプロダクト分析ツールを活用すれば、代表的なABテストツールであるOptimizelyやABTastyだけでなく、マーケティングオートメーションソフトもプロダクトの使用状況データと連携させて分析することができます。どんなパフォーマンスがバージョン別に出たのかを示す、包括的なインサイトを得られるだけでなく、他のユーザーグループと比較してパフォーマンスが良かったのかどうかまで見ることができます。

3. 仮説を立てる

テストを始める前に、過去のテストから得られる教訓があるか、考えてみてください。ユーザーが以前に好意的な反応を示した特定の機能、色、または配置はありますか?

これらのデータをもとに、何をすればより良い成果が上がるのか、仮説を立ててみましょう。例えば、「CTAボタンをより目立つようにすると、クリック数が20%増加する」などです。そして、その仮説を反映したバージョンを作成します。

これは、テキストを変更するだけの簡単なものから、新しいフォームやページ、グラフィックを開発するような複雑なものまであります。上記の例では、オリジナルとは違ったデザインのCTAボタンを作ります。ここで重要なのは、一度に複数の箇所をテストしないことです。例えば、CTAの色と位置を変えるなど、一度に2つのことをテストしてしまうと、どちらの変更が結果に影響したのかわからなくなってしまいます。

4.テストと分析

ABテストツールを使用している場合は、テストバージョン作成・編集ツールを活用してバージョンを実装し、テストを実行します。正確なテストを行うために、2つ重要なポイントがあります。

1.サンプルサイズ

正確な結果を出すためには、十分な数のオーディエンスが必要です。ハブスポットによると、Eメールをテストする際の最小数は1,000人です。Webサイトやアプリの場合は、それ以上の数になることもあります。

2.統計的有意性

パフォーマンスの差がわずかだった場合、それが単なるサンプリングエラーによるものではないことをどうやって知ることができるでしょうか。結局のところ、私たちは統計的有意性を明らかにするために、テストを行うのです。

テスト結果と統計的有意性に基づいて、明らかに良いと思われるバージョンはありましたか?そうであれば、そのバージョンを実装します。そうでなければ、オリジナルバージョンの方が勝っているので、テストバージョンを実装しないようにします。

MixpanelとABテストツールを連携させると、テスト結果をコホート(セグメント)別にみることができます。既に一度サービスを利用した既存ユーザーと、初見の新規ユーザーで分けて見たときに、ABテスト結果はどちらにとってもポジティブな結果だったのかどうか、などといったコホート分析をすることができます。

テストで学んだことをあげて、次のテストを考案し、実行していきます。その都度、コンバージョンファネルに戻り、ABテストを使って、ユーザーの進歩を妨げるものが何かを特定し、それを取り除けるようにテストを実行します。そうすることで、サイトやアプリの有用性を高めることができます。

まとめ

Mixpanelは、ABテストを行っていく上で重要なデータの計測や、データに基づくインサイトを提供するだけでなく、ABテストツールと連携させることで、テスト結果をより綿密に分析することができます。

また、MixpanelのパートナーであるAB テストツール連携させると、ユーザーがテストにさらされるたびに、イベントデータをMixpanelに送ることができます。この結果、より顧客の理解をデータとともに深めることができ、ABテストの実験がユーザーの行動にどのような影響を与えたのかを詳細に分析することができます。こちらより無料版をご利用頂くことができます。