Deep learningの軽い紹介
116 likes112,483 views
Deep learningの軽い紹介の軽い紹介です。 間違ってる部分があったら連絡ください。
![• [ニューラルネットによるパターン認識]のページが非常に
わかりやすいですので、ここでは簡単な流れ
を説明します。
• 学習データを入力層=>中間層=>出力層の順にデータを伝播さ
せていく。各ニューロンを通るたびに「重さ」が加えられてい
く。
• 出力されたデータと学習データの答えを比較し、誤差を逆伝播
していく。逆伝播の最中に「重さ」の更新を行う。
• 誤差が一定以下になるまで繰り返す
• ちなみに図は3階層パーセプトロン
• 他のモデルもありますよ。
Neural Network(NN) の仕組み
ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051](https://image.slidesharecdn.com/dnndeeplearningv1-130919080006-phpapp01/85/Deep-learning-14-320.jpg)
![ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf
Neural Network(NN) の特徴
[ニューラルネット]抜粋(詳しくは読んでください)
アルゴリズムが簡素であ
る事と、これらの特徴で
NNに興味を持ちました。
(分散システムと相性抜群)](https://image.slidesharecdn.com/dnndeeplearningv1-130919080006-phpapp01/85/Deep-learning-15-320.jpg)
Deep learningの軽い紹介
- 2. 目的と注意 • 最近 Deep Learning が熱いですね • そこで Deep Learning を初心者の方でもわ かりやすいようにまとめてみました • 自分自身機械学習は論文や本での独学なの で、間違ってる点があれば教えてください
- 3. 目次 • スライドを2枚に分けます • 1枚目 : Deep Learningの軽い紹介 • 2枚目 : Deep Learningの音声分野への応用と可能性
- 4. • Deep Learning • Deep Neural Network(DNN) • Neural Network(NN) • Hidden Markov Model(HMM) • Gaussian Mixture Model - Hidden Markov Model(GMM-HMM) • Deep Neural Network - Hidden Markov Model(DNN-HMM) • 機械学習 • パターン認識 • 時系列データの認識 • 音声認識 • 画像認識 • モーション認識 • 音楽リズム認識 • 経済モデル • 感情モデル... キーワード
- 5. MIT : http://www.technologyreview.com/lists/breakthrough-technologies/2013/ 2013年の熱い技術として紹介されている 今 Deep Learning が熱い!!
- 6. ICMLのスケジュール : http://icml.cc/2013/?page_id=47 機械学習の世界的学会、ICMLでも... 今 Deep Learning が熱い!!
- 7. • Ne#lix Movie Compe..on – Part of the “Ensemble” ($1 Million dollars) • Kaggle Merck Competion 2012 - Help Develop Effective Medicines by Predicting Molecular Activity • ICPR 2012 - Contest on Mitosis Detection in Breast Cancer Histological Images. • IJCNN 2011 - Traffic Sign Recognition Competition • ISBI 2012 - Challenge on segmentation of neuronal structures. • ICDAR 2011 - Offline Chinese Handwriting.(without knowing any Chinese) • Online German Traffic Sign Recognition Contest - 2011, first and second ranks • ICDAR 2009 - Arabic Connected Handwriting Competition (without speaking a word of Arabic). 画像,音声,言語処理...様々な分野で活躍中 名のあるコンペティションでの優勝 今 Deep Learning が熱い!!
- 8. 名のあるコンペティションでの優勝(補足) 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/ 今 Deep Learning が熱い!!
- 9. • Googleの1000台のコンピュータが3日間、 Youtubeの動画を見続けることで ネコの概念 を自 動的に学習した • この人工頭脳は、ひとたびインターネットに接続して、YouTubeからラン ダムに選ばれた無数の画像を山のように供給されると、非常に特殊なこと を行い始めた（少なくともコンピューターにとっては）。自動学習のプロ セスを通して、猫を認識することを学習したのだ。人工頭脳の父であるア ラン・チューリングの生誕から100年にして、機械も独習ができることを 証明した。” .http://wired.jp/2012/07/06/google-recognizes-kittens/ .http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html Deep Learning の凄さがわかる例
- 10. • コンピューターはシュミレーションを行う機械 • 2025年には完璧に脳をシュミレーションできるらしい... • 怖いですね http://gigazine.net/news/20090315_supercomputer_power/ 人工知能に関する補足
- 12. • 日本語名 : 深層学習 • 人工知能学会では... • あれ、という事はDeep Learning = Neural Network(NN)? • 再び人工知能学会.... Deep Learning って何ぞや? つまりDeep Learning = 深いNN? 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/
- 13. • 深いNN を理解する為に、まずは普通のNNの紹介で す。 • アルゴリズムについてはすばらしい説明ページがたくさ んあるので、概念の説明です。 Neural Network(NN) について by wikipedia
- 14. • [ニューラルネットによるパターン認識]のページが非常に わかりやすいですので、ここでは簡単な流れ を説明します。 • 学習データを入力層=>中間層=>出力層の順にデータを伝播さ せていく。各ニューロンを通るたびに「重さ」が加えられてい く。 • 出力されたデータと学習データの答えを比較し、誤差を逆伝播 していく。逆伝播の最中に「重さ」の更新を行う。 • 誤差が一定以下になるまで繰り返す • ちなみに図は3階層パーセプトロン • 他のモデルもありますよ。 Neural Network(NN) の仕組み ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051
- 15. ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf Neural Network(NN) の特徴 [ニューラルネット]抜粋(詳しくは読んでください) アルゴリズムが簡素であ る事と、これらの特徴で NNに興味を持ちました。 (分散システムと相性抜群)
- 16. Neural Network(NN) は何が出来るのか • パターン認識(教師あり) • 「階層型NN」(先ほどのページ)を使えば(非線形)パターン認識を行 えます。 • ライバル • SVM(線形,非線形),GMM(確率モデル)... • クラスタリング(教師なし) • 「自己組織化写像(SOM)」を使えば、クラスタリングを行えます。 • ライバル • k-means..
- 17. Neural Network(NN) の歴史 東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
- 18. NNの第一の冬 NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf 線形分離不可能問題 xor をNNで解けなかった。。。 => 誤差逆伝播法 の登場で解けるようになり、第一の冬終了。
- 20. • NNについてある程度わかってもらえたと思うので、次 は 深いNN (Deep Neural Network,DNN)の説明です。 Deep Neural Network(DNN) について
- 22. DNNの特徴 http://www.slideshare.net/pfi/deep-learning-22350063 • 今までの機械学習分野は特徴量抽出との戦いであった。 • 画像処理 - SURF,SIFT • 音声認識 - MFCC
- 23. • DNNは特徴抽出もまとめて行う(表現学習) => 生のデータのまま扱える • 層が深くなるごとに、データが抽象的(次元が圧縮される)形なっていく DNNの特徴 http://www.ais.uni-bonn.de/deep_learning/
- 25. DNNが今まで流行らなかったのはなぜ? • DNNの仕組み自体は前からあったが、hiddenが深いと 1. 誤差逆伝播は計算時間がかかる 2. 学習が収束しない(過学習) という問題があった。 • そこで 1. GPUの登場や、高性能のPCを安価に大量に使うように出来るようになった 2. 新しいアルゴリズムの登場 - プレトレーニングやDropOut により花開いた。 東北大学, 岡谷 貴之 齋藤 真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/
- 26. • アルゴリズムの仕組み自体が今回の目的ではな いので、割愛します(難しいので)。 • 知りたい方は、http://www.deeplearning.net/tutorial/のページが 非常に良くまとまっています。 • DNNのライブラリは Theano がおすすめです。 • GPUを用いて並列処理を行うことができる。 • 分散処理はサポートしてない。 DNNのアルゴリズム
- 27. • Deep Learningは発展途上で 何が本当に上手くいっているのか 良くわかっていない状況です。 -----あるデータにどんな形のDNNが有効か、試してみないとわからな い. => 分散処理で様々なネットワークを試してみては？ 問題点 http://research.preferred.jp/2012/11/deep-learning/
- 28. • Deep Neural Network は 深いNN • 各層ごとに意味がある • DNNを使えば、従来の機械学習分野で必要であった特徴量抽出が必要ないパ ターン認識を行える • 生のデータをそのまま扱える • 未知のデータでも使用可能? • 機械が自動的にパターンを学習する - googleのネコの概念 - • 未知の部分も多いが、現状素晴らしい成果を生み出しているのは明白である • 非常に分散・並列処理と相性がいいアルゴリズムである。さらにアルゴリズ ム自体は簡素で、学習コストも低い(しっかり理解するのは大変...) まとめ
- 29. • 次回は「 Deep Learningの音声分野への応用と可能性」です。 • 最近の音声認識は、 Gaussian Mixture Model - Hidden Markov Model(GMM-HMM) から Deep Neural Neural - Hidden Markov Model(DNN-HMM) に 置き換わっている。 • やっている事は両方とも パターン認識 - 時系列パターン認識 • 音声認識の場合 音素認識(パターン認識) - 単語認識(時系列パターン認識) • DNN-HMMはGMM-HMMの性能を凌駕する。 • 実際にMicrosoft,Googleの音声検索に使われている。 • DNN-HMMのモデルは様々な分野に応用可能であるので、その応用例も考えてみ る。 • モーション認識に応用出来るのではないかと考えている。 • NUIの幅が広がる気がする。 次回予告