検索連動広告の因果効果とROIの推定

ネット広告の因果効果推定について調べた時に読んだeBay^*1の検索連動広告^*2の因果効果推定についての論文が面白かったのでメモ。検索連動広告経由の流入のうち広告を出稿しなくとも得られた流入、つまり他の経路で流入したであろう分を差し引いた量(causal effectiveness of paid search ads)を推定しています。

Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large‐scale field experiment." Econometrica 83.1 (2015): 155-174.
https://www.nber.org/papers/w20171

要約

eBayはブランドキーワードとノンブランドキーワード(100万を越える商品名)について広告出稿していた。そこで検索連動広告のサイト流入・売上への因果効果とROIを推定した。ブランドキーワード・ノンブランドキーワード両者について検索連動広告を止めてサイトへの流入トラフィック・売上がどれだけ変化するかを計測した。
ブランドキーワードの出稿を止めても流入トラフィックは0.5%減に留まった。検索連動広告からの流入の99.5%は自然な検索結果からの流入に代替された。ノンブランドキーワードについては売上の増加量に対する広告費の係数を推定した。推定値は非常に小さく、大した効果が無い事が確認できた。
ユーザーセグメントに対する実験では、非アクティブなユーザーおよび未知のユーザーに対して広告は作用する事がわかった。

ブランドキーワードに対する実験

• 方法
• MSNとGoogleで "eBay" というキーワードに対して出稿しておく
• 片方の出稿を止めて差の差法で因果効果を推定する
• 結果
• 出稿を止めても99.5%は自然検索結果のクリックで代替された
• 出稿を止めても検索結果にeBayが出てくるため、これがほぼ完全な代替になる

(a) はGoogleを季節性補正用に残してMSNで出稿を止めている

ノンブランドキーワードに対する実験

• 方法
• DMA(ニールセンが定義しているUSのマーケティングの単位となる地域区分)をランダムサンプリングして実験用地域を確保
• 実験用DMAから68DMAをテスト用、77をコントロール用としてテスト用DMAで出稿を止める
• 差の差法で因果効果を推定する
• 結果
• 売上の変化に対する広告支出額の係数を求めると、統計的にゼロと違わないためeBayの支出額を考慮してもインパクトが無いといえる

テスト開始後はクリックが減るが売上に変化はみられない

ユーザーセグメントに対する実験

• 方法
• 過去12ヶ月における購入回数セグメントと最終購入日時からの経過日数セグメントを定義する
• 上記のコントロール群のDMAとトリートメント群のDMAでセグメント毎の効果を推定した
• 結果
• 最も効果が強いのは一度もeBayで購入をしていないセグメント
• 最終購入から90日以降のセグメントにおいては、1ヶ月経つ毎に0.02%の売上増効果が推定される
• つまり非アクティブなユーザーに広告は作用する
• 非アクティブなユーザーに広告は作用するにもかかわらず、検索連動広告のコストは主にアクティブなユーザーに費やされていた

ROIの推定

• 方法
• ROIは次の通り定義する
• $\Delta R = 収益_1 - 収益_0$
• $\Delta S = 広告費_1 - 広告費_0$
• ${\rm ROI} = \frac{\Delta R}{\Delta S} - 1$
• 実際の収益とコストのデータは公開できないため、公開情報を使った。
• OLSと操作変数法、差の差法それぞれによる推定値を出した
• 結果
• OLSだとROIが4000パーセントと非現実的な数値に
• 対照実験を用いるとROIの推定値はマイナスなった

差の差法を使うとROI推定値の上界と下界共にマイナスに

考察

• 良く知られたブランドに関しては検索連動広告の効果は限られている。ユーザーがブランド名を検索しているという事は、既にブランド名を認知している事になるから広告は余計である。
• 何故このような効果の薄いマーケティングチャネルにお金を費やす人がいるのか。「競合企業がブランド名を買い付けてしまうからだ」との主張もあるがeBayではその様な事は起きなかった。
• eBayにおいては検索広告クリックの増加は売上の増加をもたらさなかった、この結果から検索連動広告の効果が無いと言えた。
• 広告を見せた群と見せなかった群を利用した対照実験を行なうと広告のROIの推定値は劇的に下がる。

感想

広告効果は対照実験を行なわないと過大に評価してしまう、というのは因果推論でよく出てくるトピックではあるが、出てくる金額の大きさと手法による推定結果の差がインパクトがあった。ランダム化比較試験ができない立場においてどのようにコントロール群とトリートメント群を作って実験するかは参考になった。
ユーザーが対照実験を実施しないと因果効果が見れないというのは不親切な状況にあるので、今後は配信システムに機能が実装される流れになるのではないか。ディスプレイ広告で同様の調査を行なった論文があるか引き続き調べていきます。

参考文献

Blake, Thomas, Chris Nosko, and Steven Tadelis. "Consumer heterogeneity and paid search effectiveness: A large‐scale field experiment." Econometrica 83.1 (2015): 155-174.

*1: https://www.ebay.com/
*2: リスティング広告とも呼ばれる