IBIS2019でポスター発表しました

IBISは機械学習の研究会です。今年は11月20〜23日の名古屋開催でした。

第22回情報論的学習理論ワークショップ (IBIS 2019)
http://ibisml.org/ibis2019/

今回はポスター発表にアドネットワークのクリック単価決定方策を持っていきました。プロダクト開発が本業なので外部発表や論文を書く事はメインタスクでは無いのですが、実験の過程で得られた結果など発表できる物は外に出していきたいです。バンディットアルゴリズムのポスター発表も数件あり、オンライン意思決定の方策に詳しい先生方の意見が得られる貴重な機会でもあります。

様子です。

その他講演メモ

• グラフ文法を用いたグラフ生成
• 分子グラフ、例えばH20だと(H⇔O⇔H) を学習したい
• 安定性などの制約を満たすグラフを生成したい
• ハード制約とソフト制約の組みあわせ
• 大学でやったタンパク質の構造解析を思い出しつつ聞いた
• 形式言語で記述してグラフにして学習という流れが面白い
• 回帰による再帰型ニューラルネットワークからの重み付きオートマトンの抽出
• RNNの動作を再現するWeighted Finite Automataを抽出する研究があるとのこと
• 重み付き有限オートマトンに置換すると推論の計算コストが低くてふるまいが明快になるメリットがある
• ネット広告分野だと「RNNでコンバージョン予測モデル作った」という報告は多々あるものの、何をどう学習したかわからないし説明性厳しいでしょと思っていたので興味をそそる内容だった
• しかし重み付き有限オートマトンを知らなかったので後で調べた
• オートマトン理論再考 - J-Stage
• 隣接代数と双対平坦構造を用いた学習
• 難しかったがIBISではよくあること
• Data-Efficient Reinforcement Learning of Mechanical Control Systems
• 強化学習
• 不確実性の予測を使って学習すると上手くいく
• ガウシンアンプロセスだから計算コストすごい高いはずだけど、少ない試行回数の間に学習できてしまえば勝ちっぽい
• ニューラルネットはregressionに向いてないと考えてるとの事
• Problems with CNNs by Hinton先生
• 「CNN is bad」
• CNNは人間の様に学習していないからadversarial examplesの問題がある
• 何が写っているか考慮しない、背景を学習してしまっていたりする
• 心理学的なアプローチ
• 図形を表現する時はスケーリングされるし、共通のメンタルモデルがある
• 三角形や四角形という基本図形の組合せで認識する
• Cupsules (2019)
• Capsules for triangles, and squares 星座っぽい所が検出できる
• 星座生成モデルとか
• 人間が物をどうやって見ているか、という観点を使って学習するといいよという話で面白かった
• サンプリングによるデータ駆動科学
• 根源的な構造はわからなくてもいい、機能を獲得したい
• 工学的なアプローチだなー
• データ駆動科学の立場からみた物質科学と情報科学の接点
• 材料科学 → XXに使える材料が無いか追求する
• 物質科学 → なぜXは透明なのか理屈を追求する
• 初日の有機化学とはがらりと変わって無機科学。グラフでは無く原子の繰り返し構造に
• 繰り返しパターン中の原子の位置を文字列で表現してパターンマッチ
• 機械学習に対するソフトウェア工学の技術動向
• 中の人としてプロダクト開発をしている身からすると契約してPoCやって検収・納品というのを見るとすごい大変に見える
• 機械学習と知財・契約
• 外部ベンダーにプロダクトの一部を開発してもらうとしたらどう落し所をつけるか、みたいな事はしばしば考えるのでとても参考になった
• 完成した成果物を、契約当事者双方がどうのように使えるかを「開発+利用規約」において定めるこのが非常に重要
• 物体ではない(コピー可能)ので権利帰属よりもどう使うか
• 知財権を共有にして、利用条件を決めずに進めるのは危険
• http://ibisml.org/ibis2019/files/2019/12/slide_kakinuma.pdf
• 継続的改善をし続けるための機械学習基盤の課題
• MLflow trackingよさそうだった
• 日本におけるデータサイエンスの現状と今後
• 滋賀大学データサイエンス学部
• 日本に統計学部が無いから作った
• 名前はあれだけど統計学に重点を追いたカリキュラムで自分が入学したい
• データからの価値創造の流れ
• 課題が先にあって必要なデータを収集するのが基本
• データが手元にあってそこから新たな知見をさがすのも有用になりつつある
• 竹村先生が本当にすごい人だった、尊敬する

あとはインターネットの方々が詳細な聴講メモを残してくださったのでありがたく拝見しています。

IBIS2019参加記録 | カイヤン雑記帳
http://chijan.hatenablog.jp/entry/ibis2019

IBIS2019行った | 糞糞糞ネット弁慶
https://repose.hatenadiary.jp/entry/2019/11/27/083823