🎉 新しいレポート - あなたの会社がどのように評価されているか確認してください。
エクスペリメント
サンプル数計算ツール
サンプル数計算ツール
A/Bテストおよびマルチバリアントテストのための計算ツール
サンプル数が重要な理由
サンプル数が重要な理由
サンプルサイズは、実験結果の信頼性を決定します。
小さすぎるとランダムなノイズが本当の効果のように見えてしまい、
大きすぎると貴重な時間を浪費します。最適なサンプル数により、
誤判断を防ぎながら真の変化を確実に捉えられます。
サンプルサイズは、実験結果の信頼性を決定します。
小さすぎるとランダムなノイズが本当の効果のように見えてしまい、
大きすぎると貴重な時間を浪費します。最適なサンプル数により、
誤判断を防ぎながら真の変化を確実に捉えられます。
計算ツールの使い方
計算ツールの使い方
この計算ツールは、信頼できる実験に必要なサンプル数を算出する
ツールです
この計算ツールは、信頼できる実験に必要なサンプル数を算出する
ツールです
ベースラインコンバージョン率
ベースラインコンバージョン率
これは現在のコンバージョン率—関心のある行動（サインアップや
クリックなど）を完了する人の割合です。100人中約5人がコンバージョンする場合、5と入力してください。
これは現在の転換率です—あなたが気にかけている行動（登録やクリックなど）を完了する人の割合です。100人中約5人が転換する場合は、5と入力してください。
最小検出効果
最小検出効果
これは検出したい最小の変化です。20%の相対的な増加がチームにとって意味があるなら、20と入力してください。検出したい変化が小さいほど、より多くの人数が必要になります。
これは、検出したい最小の変更です。もし20%の相対的な増加があなたのチームにとって意味があるのであれば、20を入力してください。検出したい変更が小さいほど、より多くの人が必要になります。
バリエーションの数
バリエーションの数
コントロールを含めてテストするバージョンの数を選択してください。
2バリアントはシンプルなA/Bテストです。バリアントが増える（A/B/C
など）と、結果に対する信頼性を維持するためにより多くのデータが
必要になります。この計算ツールは多重比較の信頼度調整を行わない為、
バリアントを追加すると偽陽性の可能性がわずかに増加します。
テストするバージョンの数を選択してください。コントロールを含む2つのバリアントは、シンプルなA/Bテストです。より多くのバリアント（A/B/Cのような）は、結果に自信を持つためにより多くのデータが必要になります。この計算機は、複数の比較による信頼性の調整を行わないため、より多くのバリアントを追加すると、偽陽性の可能性がわずかに増加します。
詳細設定
詳細設定
仮説
仮説
変化を一方向のみで検出したい場合は片側検定を選択してください。
新バージョンがコントロールより高いか低いかを知りたい場合は両側検定を選択してください。
Mixpanelは両側検定に対応しています。
片側検定のサポートは近日公開予定です
一方向が検出されることにしか関心がない場合は一方向を選択してください。新しいバージョンがコントロールよりも高いか低いかを知りたい場合は両方向を選択してください。
Mixpanelは両方向をサポートしています。一方向のサポートはもうすぐ提供されます！
効果がない時に誤検出を避けられる確率（通常95%）
効果がない時に誤検出を避けられる確率（通常95%）
信頼水準は、実際の効果がない場合にテストが偽陽性を正しく回避する
確率です。95%が標準です。信頼水準が高いほど、より大きなサンプルが必要になります。
信頼レベルは、実際の効果がないときにテストが偽陽性を正しく回避する確率です。95%が標準です。より高い信頼度は、より大きなサンプルが必要であることを意味します。
最小検出変化率（MDE）以上の実際の効果がある時に、それを正しく検出する確（通常80%）
最小検出変化率（MDE）以上の実際の効果がある時に、それを正しく検出する確（通常80%）
検出力は、実際の効果が存在する場合にテストがそれを正しく検出する
可能性です。80%が一般的です。検出力が高いほど結果は強固になります
が、より多くのデータが必要です。
パワーとは、実際に効果が存在する場合にあなたのテストがそれを正しく検出する可能性のことです。 80% は一般的です。パワーが高いほど、より強力な結果が得られますが、より多くのデータが必要です。
注意点
注意点
これらの計算は、各バリアントへのトラフィックが均等であることを前提としています。不均等な分割は統計的検出力を低下させるため、配分は
均等に保つことを目指してください。テストを早期に停止すると結果が
信頼できなくなる可能性があるため、判断する前に推奨サンプルサイズに達することを目指してください。
まとめ：
現在の指標、検出したい変化量、そしてテスト設定を入力するだけで、
信頼できる結果を得るために必要なデータ量をこの計算ツールが
教えてくれます。
これらの計算は、各バリアントに対して均等なトラフィックを前提としています。不均等な分割は統計的パワーを減少させるため、割り当てを均等に保つことを目指してください。テストを早すぎる段階で停止すると結果が信頼できなくなる可能性があるので、決定する前に推奨されるサンプルサイズに達することを目指してください。
要約すると： 現在のレート、関心のある変更の大きさ、テスト設定を入力してください—計算機は信頼できる結果を得るために必要なデータ量を教えてくれます。
プラットフォーム
プラットフォーム
プラットフォーム