広告のA/Bテストは何日回すべきか（早く止めると判断を誤る理由）

「テストはどれくらい回せばいいのか」にはちゃんとした答えがあります。ただし、それは日数ではありません。テストは、2つのバージョンを見分けられるだけの人数に届いた時点で十分な長さになります。日数が出てくるのは、その人数をトラフィックで割るときだけです。この順番を守れば、テストは意味のある答えを返してくれます。逆にすると、たまたま運の良い火曜日にリードしていた広告を採用するはめになります。

無料の A/Bテスト計算ツールは、この記事の計算をブラウザ上で行います。何を入力すればいいか分かるように、仕組みを説明します。

見つける価値のある最小の改善幅から始める

テストの前に、行動を起こす価値のある最小の改善幅を決めます。新しいフックでコンバージョンが3%伸びたとして、広告をすべてそのフック中心に作り直しますか？おそらくしないでしょう。20%ならどうでしょう？おそらく作り直します。この「見つける価値のある最小の改善幅」がすべてを左右します。小さな差を見分けるには、大きな差よりもはるかに多くのデータが必要だからです。

ほかにも3つの数字が必要です。

現在のコンバージョン率。 これからテストする広告、オーディエンス、ランディングページの、最近の通常期間の数字を使います。
信頼水準。 一般的には95%です。本当は差がないテストでも勝者を出してしまう頻度を決める数字で、その頻度はおよそ5%です。
検出力。 改善が本当に存在するとき、それを捉えられる確率です。Meta は自社のテストについて通常80%以上を推奨しており、80%がよく使われる初期値です。

それをバージョンごとの訪問者数に変換する

この4つの数字があれば、2つのコンバージョン率を比べる標準的な公式で、各バージョンに必要な訪問者数が出ます。計算ツールでは公式をすべて表示しています。訪問者の2%がコンバージョンするショップで、信頼水準95%、検出力80%の場合の結果はこうなります。

見つける価値のある最小の改善幅	Bのコンバージョン率	バージョンごとの訪問者数	合計
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

見たい改善幅を半分にすると、必要なトラフィックはおよそ4倍になります。広告テストの失敗の大半は、この一点で説明できます。大きな差に合わせた予算で、小さな差を見つけようとしたのです。

検出力を上げるのにもコストがかかります。同じ20%の改善でも、検出力90%ではバージョンごとに21,109ではなく28,258が必要です。

日数に変換するのは、そのあとで

合計を、2つのバージョンが合わせて1日に獲得する訪問者数で割ります。1日3,000人なら、20%のテストには 42,218 ÷ 3,000 = 14.07、つまり 15日 が必要です。1日1,000人なら43日、1日10,000人なら5日です。

次に、その答えをプラットフォームの基準と照らし合わせます。

短すぎる場合。 Meta の A/Bテストのベストプラクティスでは、最低7日間を推奨しており、それより短いテストは結論が出ない可能性があるとしています。計算で5日と出ても、7日は回しましょう。同じページには、顧客が広告を見てからコンバージョンするまでに通常7日以上かかるなら、もっと長く回すようにとも書かれています。
長すぎる場合。 Meta のA/Bテストは最長30日です。計算で43日と出たら、その設計ではテストを完了できません。より大きな改善幅を狙う（もっと大胆な変更をテストする）、トラフィックを増やす（予算を増やすかオーディエンスを広げる）、あるいは信頼水準を下げて、結果を報告するときにその旨を明記する、のいずれかを選びます。
Google Ads。 テスト機能のヘルプページでは、テストを2〜3週間回すことを推奨しており、結果がまだはっきりしない場合は予算を増やすか期間を延ばすよう勧めています。

早く止めると判断を誤る理由

ここに落とし穴があります。テストを始めて、毎朝チェックする。4日目、Bがリードしていてツールは「有意」と表示している。そこで止めてBを採用し、次へ進む。

信頼水準95%が意味を持つのは、計画したサンプルサイズで一度だけ結果を読むテストに限られます。AとBのコンバージョン率が本当に同じなら、その一回の読み取りで誤って勝者を出す確率はおよそ5%です。毎日チェックするのは、まったく別の手順です。訪問者が増えるにつれて2つの率は揺れ動き、見るたびに偶然の差がラインを越えるチャンスが増えます。最初に越えた瞬間に止めれば、わざわざ一番運の良い瞬間を選んだことになります。実際の偽陽性率は5%を超え、見る回数が増えるほど上がっていきます。

画面に表示されるp値は、これを警告してくれません。あなたが何回チェックしたかを知らないからです。一度だけ見た場合とまったく同じように表示されます。

テストを正直に保つルールは3つです。

開始前にサンプルサイズを書き留める。 必要ならテスト名に入れておきましょう。
見てもいいが、止めない。 両方のバージョンが配信されていて、何も壊れていないかを確認するのは問題ありません。数字が良く見えるからといってテストを終えるのはNGです。
計画したサイズに達したら、結果を一度だけ読む。 有意でなければ、それも一つの答えです。差があるとしても、見つける価値があると決めた改善幅より小さいということです。

結果を読む

テストが計画したサイズに達したら、計算ツールを 結果は有意か？ に切り替え、両バージョンの訪問者数とコンバージョン数を入力します。たとえば、Aが10,000人中200件（2.00%）、Bが10,000人中245件（2.45%）だったとします。計算ツールは z = 2.157、両側p値0.031を返します。0.05を下回るので、信頼水準95%でBの勝ちです。

次に、判定だけでなく幅も読みましょう。差の95%区間は +0.04 から +0.86 パーセントポイントで、Aに対する改善幅にするとおよそ +2% から +43% です。Bのほうが良いのは確かですが、どれだけ良いかはまだ大きく開いています。Bの制作コストが高いなら、その価値があるかどうかを教えてくれるのがこの幅です。

プラットフォームの結果が計算ツールと一致しないこともありますが、それは想定どおりです。Meta のA/Bテスト結果は信頼度をパーセントで示し、65%以上を勝ちとみなします。これはp値とは別の指標です。Google Ads は各グループを20のバケットに分けたジャックナイフ法で区間を計算し、初期設定では80%区間を表示します。プラットフォームのテストにはプラットフォームの判定を使い、計算ツールはサイズの計画と計算の検証に使いましょう。

答えに意味が出るようにテストを設計する

変えるのは1つだけ。 Meta のベストプラクティスでは、テストする変数以外はまったく同じバージョンにしたほうが、結果がより明確になるとしています。
きちんと分ける。 Meta は、オーディエンスが重複する可能性があるため広告セットのオン・オフを切り替えてテストしないよう勧めており、両バージョンに同じ予算を割り当てることを推奨しています。プラットフォーム自身のA/Bテスト機能やテスト機能を使いましょう。
率だけでなく、お金を見る。 コンバージョン率で勝ったバージョンでも、クリック単価が高ければ赤字になることがあります。拡大する前に、勝者を ROAS計算ツールにかけ、損益分岐ROAS と比べましょう。

まとめ

見つける価値のある最小の改善幅を決め、バージョンごとの訪問者数を出し、1日のトラフィックで割り、結果を Meta の7〜30日の範囲に収め、途中で止めない。A/Bテスト計算ツールは、この前半と後半の両方をこなします。テストの提案自体を任せたいなら、Hermoso はマーケティングを自動運転にするAIマーケティングエージェントです。接続したすべての広告プラットフォームを読み取り、次に何を拡大し、何を止め、何をテストすべきかを、各テストの仮説、勝敗を決める指標、予算、期間とともに教えてくれます。

よくある質問

Facebook広告のA/Bテストはどれくらいの期間回すべきですか？

開始前に計算したサンプルサイズに達するまで、かつ Meta が推奨する最低期間の7日以上です。Meta のA/Bテストは最長30日です。1日3,000人の訪問者がいる場合、コンバージョン率2%で20%の改善を探すテストには約15日かかります。

A/Bテストには何件のコンバージョンが必要ですか？

コンバージョン率と、検出したい改善幅によって変わります。コンバージョン率2%で、信頼水準95%、検出力80%で20%の改善を見つけるには、バージョンごとに21,109人の訪問者が必要です。これは元のバージョンでおよそ422件のコンバージョンにあたります。

すでに有意になっていれば、A/Bテストを早く止めてもいいですか？

信頼水準を保ちたいなら、止めてはいけません。頻繁にチェックして最初に有意になった時点で止めると、偶然がラインを越えるチャンスが増えるため、実際の偽陽性率は自分で選んだ値より高くなります。

テストに30日以上かかりそうな場合は？

Meta のA/Bテストは30日を超えて回せないので、設計を変えます。もっと大胆な変更をテストして探す改善幅を大きくする、予算を足すかオーディエンスを広げてトラフィックを増やす、あるいは信頼水準を下げて、結果を報告するときにその旨を明記します。