改めて発表内容に目を通し直したのでまとめます。
KDD2017 2日目のWorkshop Dayはネット広告分野のワークショップであるAdKDD & TargetAd 2017に参加していました。AdExchange, DSP, Advertiser, Publisherと様々な立場での課題と解決策が聞けて面白かった。ペーパーと発表スライド、動画は以下のサイトから辿れます。
Invited Talk: Randall Lewis (Netflix)
Invited Talk: Susan Athey (Stanford)
「観測したCVR > 真のCVR」の証明があるけど、「リクエストに対する入札金額が対数正規分布する」という仮定はどこから出てきたのだろう。バイアスが除去できる理由がよくわからなかったので後でちゃんと読む。
Invited Talk: Alex Smola (Amazon)
Invited Talk: Thorsten Joachims (Cornell)
AdKDD & TargetAd 2017
https://adkdd17.wixsite.com/adkddtargetad2017/accepted-papers
https://adkdd17.wixsite.com/adkddtargetad2017/accepted-papers
Paper: Optimal Reserve Price for Online Ads Trading Based on Inventory Identification
- AdExchangeの立場でRTBのReserve Priceの最適化
- DSPが高額入札してくる枠で1st Priceと2nd Priceが乖離している時にReserve Priceを引き上げる事ができれば媒体収益を高められる
- これを実現するためにDSPが高額入札してくる枠 (High-value inventory)の識別器とDSPの入札価格の二つの予測器を作った
- High-valueかどうかの判定は判定機をネストする事でFalse Positiveを下げる
- 実験ではYahoo ads exchange (YAXR) のデータでシミュレーションをして8%の収益リフトを確認した
やりたくなる気持ちはわかるが、オークショナーがPublisherの味方をすると1st priceオークションに近づいていくので入札側としては嬉しくない奴。
CPAの単位は明示されていないが10以上をHigh CPAと定義していたのでUSDだと思われる。どうでもいいけどReserve Priceよりも自分の回りだとFloor Priceの方が良く使われるのは何でだろう。
CPAの単位は明示されていないが10以上をHigh CPAと定義していたのでUSDだと思われる。どうでもいいけどReserve Priceよりも自分の回りだとFloor Priceの方が良く使われるのは何でだろう。
Paper: MM2RTB: Bring Multimedia Metrics to Real-Time Bidding
- RTBの新しい枠組みを提案
- 広告掲載ページのコンテキストにマッチした広告が表示されるようにする事で、長期的な広告掲載媒体の価値を高められるとしている
- Viewabilityは2013年から増えていないらしい
Paper: Data-Driven Reserve Prices for Social Advertising Auctions at LinkedIn
- LinkedInの広告枠におけるRTBのReserve Priceの最適化をした
- 既にリリース済
- CPCの中央値の上昇率、入札金額の中央値の上昇率を指標として効果を測った
Paper: Cost-sensitive Learning for Utility Optimization in Online Advertising Auctions
- RTB入札に使うコンバージョン予測モデルの損失関数と効用(DSPの収益)を関連づける
- モチベーション: 損失関数にビジネスインパクトの影響を盛りこみたい
- 高CPA案件のコンバージョン予測精度向上は収益へのインパクトが大きいので、損失をCPAで重み付けする。(CPA配信が前提になっている?)
- オフライン実験はCriteoのPublic Datasetを使用
- オンライン実験は10億以上のIMPでA/Bテストした結果2%のROIの上昇となった
Invited Talk: Randall Lewis (Netflix)
Title: Incrementality Bidding & Attribution
- Netflixの広告効果の因果効果推定と、実務で継続的にこれを行なうための工夫の話
- 広告主は広告効果の計測に苦労しているとの事
- 広告掲載を止めたら広告流入の減少と同じボリュームの検索流入が増えた事があった
- 広告の効果があるように見えたのはセレクションバイアス
- IV法でTreatment Effectを推定。広告による増分と効果の減衰をモデル化する事で複数の広告の効果をモニタリングできる
機械学習と因果効果推論の組み合わせは面白い。ネット広告の効果測定と言ったら配信業者の立場だとRCTやれば良いってなるけど、広告主の立場だとRCTができないからIV法を使うんですね。
Invited Talk: Susan Athey (Stanford)
Title: Machine Learning & Causal Inference for Advertising Effectiveness
- 機械学習と因果推論の違いと、両者の手法を織りまぜた手法の紹介
- Doubly Robust Methods
- 多次元におけるAverate Treatment Effectの推定
- 機械学習の手法を因果効果推定に取りいれる
- 機械学習はパーソナルの予測のパフォーマンスが良いが、バイアスが入っているとの事
あまり聞きとれなかった……
Paper: Blacklisting the Blacklist in Online Advertising
- ここで言うブラックリスト = パブリッシャーがAdvertiserをBANしているリスト
- BANされている所に対して入札する際の予測タスクの計算コストがもったいない
- オークションのWin Rateが異常に低い所には入札を止める。
- 結果、入札を14%減らしたがIMPが6%増えた。さらにPacing Engine(予算消化速度調整)が良い感じになった。
Paper: Anti-Ad Blocking Strategy: Measuring its True Impact
- Anti-Ad Block (AdBlockを解除しないとページを見せないよ、って奴) の効果ってどう計測したらいいのか? という話。
Ground Truthが無いの大変そう。Adobeの人がなんでこんな事やってるんだろうと気になった。
Paper: An Ensemble-based Approach to Click-Through Rate Prediction for Promoted Listings at Easy
- Contextualな素性を使ったモデルとHistoricalな素性を使ったモデルのアンサンブルによるCTR予測
- 訓練データをCold(IMPが少ない時点のデータ) とWarmに分割して、前者はContextualなモデルの訓練に使う
- Contextualなモデルはコールドスタート時にうまく動く
- アンサンブルモデルは2つの予測器のoutputとlog(imp数)を入力とする。
A Practical Framework of Conversion Rate Prediction for Online Display Advertising
- RTB入札におけるCVR予測について、自分がオークションに勝ったIMPしか結果を観測できないため真のCVRと観測したCVRに差が出る
- これはCVRのOver Predictionの原因となり、Over Predictionはビジネスの損失となる。(CPA配信において)
- 訓練データのCVRにはバイアスが含まれる、これを除去したCVR予測値を求める方法を開発した
- キャンペーン開始時にはGDBTで予測すると同時に、予測値が信頼できる素性のサブセット(Data-Driven Tree)を育てていく、次のフェーズではData-Driven Treeで予測を行なう
「観測したCVR > 真のCVR」の証明があるけど、「リクエストに対する入札金額が対数正規分布する」という仮定はどこから出てきたのだろう。バイアスが除去できる理由がよくわからなかったので後でちゃんと読む。
Paper: Deep & Cross Network for Ad Click Predictions
- DNNによるCTR予測
- Feature Engineering不要
- 既存のDNNによる手法 (Deep Crossing) よりもメモリ使用量が少ない
Paper: Profit Maximization for Online Advertising Demand-Side Platform
- DSPの収益を最大化するRTB入札戦略
- 目的関数の約定金額の部分が非凸になるので、ラグランジュ緩和する
Invited Talk: Alex Smola (Amazon)
Title: Users & Time
- LSTMやRNNの話にはじまり、サービスの利用ユーザーが死んでいるか生きているかの判定手法の話へ
- Survival Analysis 101, Cox Model
- すぐに帰ってくるか、翌日帰ってくるかアプリ?によって傾向は異なる
- Recommender systems, not recommender archaeology (考古学じゃない、未来を予測せよ)
- Netflix public dataset is wrong
- 映画が賞を取るとpredicted ratingが上がる全然consistentじゃない
- 賞を取ってから数ヶ月で下がる
- Sequence modelはUser return times、Recommender system、User activityの予測に使える
Invited Talk: Thorsten Joachims (Cornell)
Title: Learning from Logged Interventions
- バンディットアルゴリズムで生成されたデータからのバッチ学習
- Selectionバイアスがかかっている事に注意 (選択は自分がしている)
- これを学習する
Paper: Attribution Modeling Increases Efficiency of Bidding in Display Advertising
- RTB入札のEVB(Evaluated Value Bidder)は、非繰り返し2ndプライスオークションの際には最適
- だが同じオーディエンスに繰り返し表示する前提ではさらに改善できる
- アトリビューションモデルを使ったRTB入札ポリシーを提案
- 以前のクリックの影響を考慮してIMPの価値を割引く
CriteoなだけあってHashing Trick推し
Paper: Ranking and Calibrating Click-Attributed Purchases in Performance Display Advertising
- Ordinal regression is a good strategy for ranking
- Sigmoid function is not good for small probability
