2016-09-09

GCP NEXT Tokyoとbq_sushiで弊社事例の紹介をしました

9月6日に開催されたGCP NEXT Tokyoの事例紹介セッション及びパネルディスカッションでの講演機会をいただいたので登壇してきました。一緒に出演されたメルカリ様、DeNA様はApp Engine Goをバリバリに使っている事例で、VOYAGE GROUPはBigQueryと、他社のサービスに無いプロダクトを全面にプッシュしていたのでわかりやすい話になったかなと。反省点は、資料に沿って話すのに精一杯で、まだまだ自分の言葉で話せなかった所ですかね。

そして、この事例で紹介した仕組みで動いている処理の一つが先日発表した不正クリック検出なわけで、GCPのデータセンタには足を向けて寝られません。

そのまま夜はbq_sushi #4で事例紹介の縮小版をやりました。異常検知で利用しているクエリを紹介しようとしたらスライドに貼りきれず失敗したので、Qiitaに全部貼りました……。

bq_sushiで使用した資料

GCPではじめるスモールスタートなデータ活用 // Speaker Deck

ETL処理とlambdaアーキテクチャ

今回のGCP NEXTとbq_sushiで目を引いたのはETL処理とlambdaアーキテクチャ。リアルタイム性と遅れてくるデータの扱いをどうすべきか、最近の悩みでもあったのでヒントになりました。SpotifyのオンプレからGCPへの移行ケースの話も極めて俺得でした。Spotifyといえばジョブパイプラインの制御にluigiを使ってますが、もしかしてluigiのGCPまわりの開発が加速されるのかなと、密かに期待。


このエントリーをはてなブックマークに追加