GCP NEXT Tokyoとbq_sushiで弊社事例の紹介をしました

9月6日に開催されたGCP NEXT Tokyoの事例紹介セッション及びパネルディスカッションでの講演機会をいただいたので登壇してきました。一緒に出演されたメルカリ様、DeNA様はApp Engine Goをバリバリに使っている事例で、VOYAGE GROUPはBigQueryと、他社のサービスに無いプロダクトを全面にプッシュしていたのでわかりやすい話になったかなと。反省点は、資料に沿って話すのに精一杯で、まだまだ自分の言葉で話せなかった所ですかね。

そして、この事例で紹介した仕組みで動いている処理の一つが先日発表した不正クリック検出なわけで、GCPのデータセンタには足を向けて寝られません。

オンライン広告における不正クリック検出手法と歴史 // Speaker Deck
https://speakerdeck.com/hagino3000/onrainguang-gao-niokerubu-zheng-kuritukujian-chu-shou-fa-toli-shi

そのまま夜はbq_sushi #4で事例紹介の縮小版をやりました。異常検知で利用しているクエリを紹介しようとしたらスライドに貼りきれず失敗したので、Qiitaに全部貼りました……。

BigQueryで統計量を出すときに使うクエリメモ
http://qiita.com/hagino3000/items/e9ed62638ebe54391188

bq_sushiで使用した資料

GCPではじめるスモールスタートなデータ活用 // Speaker Deck

ETL処理とlambdaアーキテクチャ

今回のGCP NEXTとbq_sushiで目を引いたのはETL処理とlambdaアーキテクチャ。リアルタイム性と遅れてくるデータの扱いをどうすべきか、最近の悩みでもあったのでヒントになりました。SpotifyのオンプレからGCPへの移行ケースの話も極めて俺得でした。Spotifyといえばジョブパイプラインの制御にluigiを使ってますが、もしかしてluigiのGCPまわりの開発が加速されるのかなと、密かに期待。

• Spotify’s Event Delivery – The Road to the Cloud (Part I)
• Spotify’s Event Delivery – The Road to the Cloud (Part II)
• Spotify’s Event Delivery – The Road to the Cloud (Part III)