その広告、止めたら売上は減る？中小予算でできるインクリメンタリティ（増分効果）検証の実務設計

この記事のポイント

• 広告のインクリメンタリティ（増分効果）は広告主ごとに異なり、体感ではなく検証でしか判断できない
• 中小予算でも地域分割テスト（ジオテスト）とオン/オフ検証の2手法なら4〜8週間で実行可能
• 全停止はスマート入札の学習リセットとリマケリスト縮小のリスクがあるため、減額・地域除外での代替設計が定石
• 検証前に月間CV数・地域データの粒度・季節性を確認する適格性チェックが結果の信頼性を左右する

月額の広告費を眺めながら「これ、本当に止めたら売上は落ちるのか」と自問したことのある経営者・マーケ責任者は少なくないはずです。CPAやROASは悪くない。でも指名検索やリタゲ経由のコンバージョンが、広告がなくても起きていた成果なのか判別できない——そんなモヤモヤを抱えたまま、止める決断を先送りにしている状態です。

この記事では、その問いに感覚ではなく検証で答えるための方法を扱います。広告のインクリメンタリティ（増分効果）検証とは、広告がなかった場合と比べてどれだけの成果が純粋に上乗せされているかを測る手法です。地域分割テストとオン/オフ検証という、月額広告費50〜300万円規模でも回せる2つの方法を軸に、設計手順と判定のしかたまで一気通貫で解説します。

結論を先に言い切ると、答えは広告主ごとに異なります。ブランド認知が強くオーガニック検索での代替が効く事業もあれば、広告を止めた瞬間に売上が目に見えて落ちる事業もある。この差を生むのが増分効果であり、自社がどちら側かは検証してみなければわかりません。

広告のインクリメンタリティ（増分効果）検証とは？広告を止めたら売上は減るのか

広告のインクリメンタリティ検証とは、広告を出稿した場合と出稿しなかった場合の成果の差分を測定することです。答えは広告主ごとに異なり、体感ではなく実際にテストしてみるまでわかりません。

インクリメンタリティ＝「広告がなかった場合」との差分

インクリメンタリティ（増分効果）とは、反実仮想（広告がなかった場合の売上）と実際の売上を比較したときの純粋な上乗せ分を指します。管理画面が示すコンバージョン数は、広告をクリックした人全員をカウントしますが、そのうち一定割合は広告がなくても検索して購入していた人です。この「広告がなくても起きていた成果」を差し引いた残りが本当の増分であり、CPAやROASの計算式には反映されません。

「止めたら売上が落ちた」体感がアテにならない理由

広告を止めた直後に売上が落ちたとしても、それが増分効果によるものとは限りません。季節要因、競合の動き、サイトの仕様変更など、同時期に起きる別の要因が混ざり込むためです。単純な前後比較(Before/After)ではベースライン売上の変動と広告効果を切り分けられず、判断を誤るリスクがあります。だからこそ、対照群を置いた検証設計が必要になります。

なぜCPA・ROASでは広告の本当の貢献がわからないのか

CV数字を見つめても答えは出てこない

CPAとROASは広告経由のコンバージョンを計上する指標であり、そのコンバージョンが広告なしでも発生していたかどうかは判別できません。管理画面の数字は「貢献した量」ではなく「関与した量」を示しているにすぎないのです。

管理画面のCVには「広告がなくても買った人」が混ざる

多くの広告アカウントはラストクリックないしデータドリブンのアトリビューションでコンバージョンを計上します。この計上方式では、指名検索で自社サイトを検索していた見込み客がたまたま広告をクリックしただけのケースと、広告がきっかけで初めて認知したケースが同じ「1コンバージョン」として扱われます。前者はオーガニック代替が効くため増分がほぼゼロに近く、後者は純粋な増分です。管理画面だけを見ていると、この2つを区別できません。

eBayの停止実験とGoogleの反論から学べること

この論点を語る上で外せないのが、2013年頃に話題になったeBayの検索広告実験です。研究者のBlake・Nosko・Tadelis(2015)によるeBay検索広告実験では、eBayが検索連動型広告(AdWords)への出稿を大規模に停止したところ、特に指名検索広告についてはオーガニック検索がほぼ完全に代替し、増分効果はゼロに近いという結果が示されました。これに対しGoogle側は、平均的な広告主では異なる結果が出るとする分析を提示し、Search Engine Landでは両者の主張が対立した経緯が報じられています。この論争から得られる教訓はシンプルで、「大企業の結論をそのまま自社に当てはめず、自社のデータで検証する」という姿勢が唯一の正解に近いということです。指名広告と一般広告を切り分けて実力を測る手順は、指名/一般を分解して広告の実力を測る手順で詳しく扱っています。

増分が低く出やすいチャネル・高く出やすいチャネルの一般傾向

業界の公開ベンチマークでは、指名検索広告やリターゲティング広告は増分が低く出やすく、潜在層向けの認知施策や新規獲得目的の一般キーワード広告は増分が高く出やすい傾向が指摘されています。米国DTC市場の2024〜2025年ジオテスト225本を集計したStellaのベンチマークレポートでも同様の傾向が定量的に示されていますが、これは米国DTC業界固有の数値であり、日本の中小企業がそのまま数値を転用するのは避けるべきです。あくまで「チャネルによって増分の出やすさに差がある」という傾向として参考にするにとどめてください。

インクリメンタリティ検証の3つの方法と使い分け

図1: 知りたい問いで検証手法を選ぶ分岐図

増分効果の検証手法は大きく3つに分かれ、それぞれ答えられる問いが異なります。答えたい問いが「媒体内の因果」か「事業売上への影響」かで選ぶ手法が変わります。

Triple Whaleが整理する枠組みでは、媒体提供のコンバージョンリフト測定はユーザー単位で媒体内の因果を示し、地域分割テストは地域単位で事業全体への影響を示すとされています。どちらが優れているというより、答えたい問いに応じて使い分けるべきものです。

手法	測定単位	わかること	向いている広告主
コンバージョンリフト測定	ユーザー単位	媒体内での広告の因果効果	媒体レポートの信頼性を検証したい
地域分割テスト（ジオテスト）	地域単位	事業売上全体への実質的な影響	経営判断として広告費の妥当性を知りたい
オン/オフ検証	期間単位	停止・減額時の売上変化	すぐに着手できる簡易検証をしたい

媒体提供のコンバージョンリフト測定（ユーザー単位）

Google広告のコンバージョンリフト測定は、広告接触ユーザーと非接触ユーザーをランダムに振り分け、媒体のコンバージョンデータ上でその差を測る機能です。媒体内で完結するため設計は比較的容易ですが、判定基準はあくまで媒体側の計測ロジックに依存する点に注意が必要です。詳細な検証設計はGoogle広告カスタムテストを使った検証設計と有意差判断で扱っています。

地域分割テスト（ジオテスト）

地域分割テストは、特定地域への配信を止め、対照地域と売上・受注データを比較する手法です。媒体のログではなく事業の実売上・受注データで判定できるため、経営判断への説得力が最も高い検証方法とされています。ホールドアウト(除外グループ)となる地域を設けることで、季節要因やベースライン売上の変動と広告効果を切り分けられます。

オン/オフ検証（停止・減額テスト）

オン/オフ検証は、特定キャンペーンやチャネルを一定期間停止・減額し、前後の売上変化を見る手法です。地域データが整っていない事業でも着手しやすい反面、季節性など他の要因と混同しやすい弱点があります。

MMMとの関係と中小予算での現実解

MMM(マーケティングミックスモデリング)は複数チャネルの効果を統計モデルで同時推定する手法ですが、相応のデータ量と分析リソースを要するため、月額広告費50〜300万円規模では過剰投資になりがちです。中小予算の現実解としては、まず地域分割テストかオン/オフ検証のどちらかを1本回し、必要に応じて媒体のコンバージョンリフト測定を補助的に併用するのが妥当な選択と言えます。

検証を始める前のチェック｜中小予算でテストが成立する最低条件

検証を始める前に、月間CV数・地域データの粒度・季節性という3点を確認する必要があります。この適格性チェックを飛ばすと、結果が出ても信頼できるかどうか判断できません。

Lifesightのジオテスト設計ガイドでは、テスト成立の最低要件として過去6か月程度のベースラインデータ、地域別の週次売上データ、そして統計的有意差を検出するための検定力80%設計を挙げています。日本の中小企業の管理体制に置き換えると、まず自社が地域別に売上やCV数を週次で追えるデータ基盤を持っているかどうかが最初の関門になります。

必要なデータ：地域別の売上/CVを週次で追えるか

ECサイトであれば都道府県別・地域別の受注データ、店舗ビジネスであれば商圏別の来店・売上データが週次で取得できるかを確認してください。月間コンバージョン数が極端に少ない場合（目安として月間30件を下回るような場合）は、統計的有意差を検出する前にサンプルサイズ不足でテストが成立しません。そのようなケースでは、地域を絞ったジオテストよりも先に、まとまった予算のあるキャンペーン単位でのオン/オフ検証から着手する方が現実的です。

検証に向かないタイミング（セール期・仕様変更直後）

セールやキャンペーン期間中、サイトリニューアル直後、新商品発売直後は、広告以外の要因が売上に大きく影響するため検証には不向きです。ベースライン期間としては、通常運用が4週間以上続いている状態を確保してから着手するのが望ましいとされています。

地域分割テスト（ジオテスト）のやり方｜設計6ステップ

図2: ジオテスト設計6ステップの流れ

地域分割テストは、目的定義からテスト地域の選定、配信除外設定、期間設計、増分計算、予算反映という6ステップで進めます。Lifesightのガイドが示す標準的な流れを、日本の媒体管理画面と商圏事情に合わせて翻訳すると次のようになります。

ステップ1：検証する問いとKPIを1つに絞る

「この広告全体を止めたら売上はどう変わるか」なのか、「特定のキャンペーンだけを止めたらどうなるか」なのか、検証する問いを1つに絞ります。KPIも売上・受注件数・粗利のいずれか1つに定め、複数のKPIで同時に判定しようとしないことが重要です。

ステップ2：テスト地域と対照地域のペアを選ぶ

過去の売上推移が似ている地域同士をペアにし、一方をテスト地域（配信停止・減額）、もう一方を対照地域（通常配信を継続）とします。都道府県単位が扱いやすいですが、商圏が狭い業種では市区町村単位での分割も検討してください。人口規模・季節変動パターンが近い地域を選ぶことが、後の比較精度を左右します。

ステップ3：配信除外/減額の設定（媒体別の地域除外手順）

Google広告では、キャンペーンの「地域」設定から対象地域を除外するか、地域別に入札単価調整率をマイナス方向に設定して減額します。Meta広告ではキャンペーンまたは広告セットの地域ターゲティングから該当エリアを除外設定します。全キャンペーンを一括で止めるのではなく、地域単位で除外する設計にすることで、後述する学習リセットのリスクを抑えられます。

ステップ4：テスト期間と判定ラインを事前に決める

テスト期間はLifesightのガイドに沿えば4〜8週間が目安です。開始前に「増分ROASが○倍を下回ったら停止を検討する」といった判定ラインを数値で決めておきます。テスト開始後に基準を後付けすると、都合の良い解釈に流されやすくなるためです。

ステップ5：地域別データで増分を計算する

テスト地域と対照地域それぞれの売上推移を比較し、テスト期間中の差分から増分効果を算出します。単純な差分だけでなく、テスト開始前の両地域の売上比率を補正に用いると精度が上がります。可能であれば統計的有意差の検定（t検定など)を行い、偶然のばらつきではないことを確認してください。

ステップ6：結果を予算配分に反映する

増分が確認できた地域には予算を維持・増額し、増分がほぼゼロだった地域は減額や配信除外を継続する形で予算を再配分します。一度の検証で全体方針を決め切らず、四半期ごとに検証地域をローテーションしていく運用が、中小予算では現実的です。

オン/オフ検証のやり方｜学習リセットを避けて安全に止める設計

一気に止めず慎重にスイッチを絞る

オン/オフ検証は全キャンペーンを一斉停止するのではなく、範囲を絞って段階的に止める設計が安全です。全停止はスマート入札の学習データとリマケリストの両方を毀損するリスクを伴います。

全停止で失うもの：スマート入札の学習とリマケリスト

Google広告の自動入札(スマート入札)は直近の配信データを学習し続けており、長期間の全停止は学習のリセットを招きます。またリマーケティングリストは会員の除外設定や有効期間によって縮小していくため、停止期間が長引くほど再開後の立ち上がりが遅くなります。この技術的な影響の詳細は広告を一時停止すると何が消えるか（学習リセット・リマケリスト縮小）の詳細にまとめています。

止める範囲の決め方：指名/リタゲから小さく検証する

Haus社のMeta増分効果解説記事でも指摘されている通り、増分効果を検証する優先順位としては、増分が低く出やすいと想定される指名検索広告やリターゲティング広告から着手するのが定石です。全キャンペーンを止めるのではなく、まず指名キャンペーン単体、あるいはリタゲの配信を1〜2週間だけ止め、その間の売上・問い合わせ数への影響を確認します。影響が軽微であれば、対象を広げて次の検証に進みます。

再開時の立ち上げ設計

検証終了後に配信を再開する際は、停止前の入札設定・予算をそのまま戻すのではなく、数日かけて予算を段階的に引き上げる方が学習の再構築が安定しやすいとされています。再開直後の数日間は成果指標が一時的に悪化することを見込んで判断するようにしてください。

検証結果の読み方と経営判断への落とし込み

検証結果は増分CPA・増分ROASという指標に変換し、継続・縮小・停止の3分岐で判断します。管理画面のCPA・ROASとは別の物差しとして扱う必要があります。

増分CPA・増分ROASの計算式

増分CPAは「テスト期間中の広告費 ÷ 増分コンバージョン数」で算出し、増分ROASは「増分売上 ÷ 広告費」で算出します。管理画面上のCPA・ROASより数値は悪化するのが通常です。これは広告がなくても発生していた成果を差し引いているためで、悪化すること自体が異常というわけではありません。

差が出なかった場合に考えるべき3つの可能性

増分がほぼ検出できなかった場合、考えられる可能性は主に3つです。1つ目はサンプルサイズ不足で統計的有意差が出なかった可能性、2つ目は対象チャネルが指名検索やリタゲなどオーガニック代替が強いカテゴリだった可能性、3つ目は本当に増分がほぼゼロだった可能性です。テスト設計の見直しか、予算配分の見直しかを切り分けるため、まず1つ目のサンプルサイズを疑うのが定石です。認知施策の増分は指名検索の変動から間接的に読み取る方法もあり、指名検索量をブランドリフトの代替指標にする計測設計が補完的な視点として役立ちます。

経営者への報告フォーマット

報告時は「管理画面上のCPA/ROAS」と「増分CPA/増分ROAS」を並べて提示し、その差がなぜ生まれるのかを一文で添えるとわかりやすくなります。継続・縮小・停止の判断は感覚ではなく事前に決めた閾値に沿って行うべきで、その基準設計は撤退・縮小判断のKPI閾値設計で扱っています。

よくある質問

Q：広告を止めたら売上はどうなりますか？ 広告を止めた際の売上への影響は広告主ごとに異なり、一律には言えません。オーガニック検索での代替がどれだけ効くかによって結果が大きく変わるため、体感ではなく地域分割テストやオン/オフ検証で確認する必要があります。

Q：インクリメンタリティとは何ですか？ インクリメンタリティとは、広告がなかった場合と比べた純粋な増分成果を指します。アトリビューションが「どの広告経由で発生したか」を計上する概念であるのに対し、インクリメンタリティは「広告がなければ発生しなかった成果はどれだけか」を測る概念という違いがあります。

Q：ジオテストはどのくらいの期間・予算があれば実施できますか？ 目安として4〜8週間のテスト期間が必要です。前提条件として、過去6か月程度のベースラインとなる売上データと、地域別の週次売上データが取得できる状態であることが求められます。

Q：コンバージョンリフトとジオテストはどちらを使うべきですか？ 検証したい問いによって選びます。媒体内での広告の因果効果を知りたいならコンバージョンリフト測定、事業全体の売上への影響を知りたいなら地域分割テストが適しています。中小予算では、地域分割テストと自社の受注データを組み合わせる方法が現実的な選択肢になりやすいと言えます。

Q：広告を止めるとスマート入札の学習はリセットされますか？ 全キャンペーンを長期間停止すると学習がリセットされるリスクがあります。全停止ではなく、地域単位や特定キャンペーンの減額・除外によって検証範囲を絞る設計にすることでリスクを抑えられます。

広告のインクリメンタリティ検証は、一度設計してしまえば四半期ごとに回せる運用ルーチンになります。真策堂では、こうした検証設計を含めた広告費の妥当性判断について相談を受けています。自社の広告費が増分に見合っているか気になる方は、まず月間CV数と地域データの整備状況を確認するところから始めてみてください。