会社から３０分ほどで行ける距離で「人工無脳と人工知能」の勉強会があったので参加しました。
「人工無脳バトル」に参加した学生の発表の後、徳永拓之氏の深層学習のお話という流れで終了。
前者では、学生が面白い人工無脳を創るには２日という期間は短すぎるように感じました。
後者では、
- ニューラルネットワーク ほぼイコール 関数
- レイヤーという言葉がどこを指すかに人によって異なることがあるので注意
- Recurrent Neural Network（RNN）を使うと時系列なデータが扱える
- Long short-term memory は RNN の一種
- 「A Neural Conversational Model」はLSTMで文生成できたよという論文
- Attention という技術（入力側のデータ（？）の一部をヒントとして見る）を 使うと精度が上がるが、どこを見るべきか決めるのが難しい
- batch normalizationを使うとdrop outが不要になって高速化できる（何を言っているのか今の自分にはわからない）
- Chainer がキレイでいいぞ！
- 深層学習でフォローすべき人を１人あげるなら @hillbig
というような知識を得ました。最後に「手を動かそう」（本を読んで分かった気にならず）とおっしゃっていて、大学生の頃に比べるとネットの技術記事を読んでもコーディングしていない自分に気づいて猛省しました。
