SlideShare a Scribd company logo

Deep Learning Demonstration using Tensorflow (7th lecture)

P
Parth Nandedkar

Basic syntax of Tensorflow, Parallel processing in deep learning, Description of MNIST problem, Solving the MNIST problem using Tensorflow(Scikit Learn), Theory of Deep learning(Kullback Leibler Information, Overfitting, Softmax function etc)

Software
Related topics:
Deep Learning • Data Science Insights
1 of 35
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
TensorFlowの基本、 第7回 題目:TensorFlow上の回帰問題 発表者:NANDEDKAR PARTH SHIRISH 1
今日の流れ １．計算用デバイスの設定 ２．MNISTのための（単層）回帰モデル ３．ロジスティク回帰モデルの記述方法 ４．ロジスティク回帰のプログラム全体 ５．MNISTのための複数層モデル 2
１．計算用デバイスの設定  ４６ページの例のプログラムを考える 実際に存在する標準関数でなく、入力を得ることを表すだけ 3 Cのread(),Javaの getline()みたい feed_dict=「作 業型」の変数
１．計算用デバイスの設定  ４６ページの例で、 セッションsessは右の 計算グラフを作成 計算を開始 4 Computational Graph: 計算流れ図
１．計算用デバイスの設定  GPUは並列処理が得意で、デフォルトのデバイス  特定のデバイスの設定 （forでも利用可） forの上記の文より、1,2番目のGPUは並列（非依存的） に処理をする 5
１．計算用デバイスの設定  複数のデバイスの例 1,2番目のGPUは並列（非依存的）に処理 cはリスト型と定義。 6
１．計算用デバイスの設定  セッション型のsessの設定の２項目 デバイス名の表示 withが失敗すると、開い ているデバイスを探す 7
２．MNISTのロジスティク回帰モデル  第１回輪講の桁の識別のデータセットはMNIST モデルの記法 x＝入力データ、28*28ピクセル b＝Bias、各ニューロンに１つ W＝各入力の神経から結果までの重み 8
復習:複数層 ニューラル ネットワーク （２つの層、 １つの隠れ層） 9
2．MNISTの回帰:単層ニューラル ネットワーク （１つの層、 ０つの隠れ層） 出力 １ ２ 1０ W1,1 W784,10 W2,1 W784,2 10
神経回路網の(線型的)ニューロン 段階1 段階2 段階3 段階4 段階5 bias定数C を加算 +bias定数C（適当に） 11
復習:ロジスティク関数 12
回帰問題: 夫々の確率の出力ベクトル 分類問題:出力は0や1、又は「グループ a」,「b」,「c」だけ softmax法で0から1の確立を得る softmax法 13
回帰問題:出力ベクトル 0から1までの 確率が出力 車の確率 動物の確率 人間の確率 。 。 14
２．ＭNISTのロジスティク回帰 出力 １ ２ 1０ W1,1 W784,10 W2,1 W784,2 15
３．ロジスティク回帰の記述方法 手順1．推論:現在のW,bから の計算（softmax適用） 手順2．ロス関数値の計算: 手順1の出力ベクト ル、入力の結果間のKullback-Leibler情報量 16
３．ロジスティク回帰の記述方法 手順3．学習:勾配落下法で最適解を得る。 重みWの更新する。 手順4．評価:どの%があっていたか。 手順1の出力ベクトル、入力結果から。 17
３．ロジスティク回帰の記述方法 手順1．推論:現在のW,bから の計算 引数x= 前回の輪講の変数宣言 softmax適用 18
３．ロジスティク回帰の記述方法 手順2．ロス関数値の計算: Kullback-Leibler情報量法: 2つの確率分布間の「距離」 分布 P=Q なら , DKL=0 !! 公式は「Shannon情報量」と似ている 19
３．ロジスティク回帰の記述方法 手順2．ロス関数値の計算:Kullback-Leibler情報量法 引数output=手順1の出力ベクトル 引数y=MNISTに入った正しい結果のデータ の計算 ??? ∑と同様 E(X);期待値と同様 20
３．ロジスティク回帰の記述方法 手順3．学習:勾配落下法で最適解を得る。重みWの更 新する。 引数cost=手順2の出力ベクトル 引数global_step= Wの更新関数にバッチ番号を教える 勾配落下法のoperation(関数型) Wの更新(自動、 global_stepは増分) 21
３．ロジスティク回帰の記述方法 手順4．評価:どの%があっていたか。 引数y=MNISTに入った正しい結果のデータ tf.equal関数 output,yの最大値のindexが等しいかをチェック Wの更新(自動、global_stepは増分) 22
３．ロジスティク回帰の記述方法 手順4．評価:どの%があっていたか。 Output[96] : 0.45 0.121 0.999 0.08 …......... 0.04 y [96]: 0 0 1 0 0 この結果、 Correct_prediction[96] = TRUE tf.cast関数:Correct_prediction内の TRUE/FALSEの比率 23
4．全体プログラムの枠 手順1．パラメター設定:学習速度β;バッチ内 の標本数;学習用バッチ数 手順2．Computational Graphの作成: 各バッチに利用されるinference()、loss()、 training()、evaluate()を「sess.run()」の実行で 適用できるように!!! 24
4．全体プログラムの枠 手順1．パラメター設定 手順2．Computational Graphの作成 手順3．バッチ毎のループの作成 手順4．標本毎のループの作成 25
４．全体プログラム 手順2． Computational Graphの作成: 全部はsess.run() で適用 26
４．全体プログラム 手順2．Computational Graphの作成: 27
４．ロジスティク回帰の記述方法 手順3．バッチ毎のループの作成 28
４．ロジスティク回帰の記述方法 手順4．標本毎のループの作成 29
４．ロジスティク回帰の記述方法 手順4．標本毎のループの作成 30
５．MNISTのための複数層モデル 変更されない関数． loss()、training()、evaluate()、 変更される関数． inference()のみ 2つの隠れ層 256784 10256 31
５．MNISTのための複数層モデル inference (): 層の概念を抽象化したlayer関数を導入 32
５．MNISTのための複数層モデル 50ページのlayer():前半の輪講でやったもの 33
５．MNISTのための複数層モデル layer() 34
複数層の Computational Model 簡単! 35

More Related Content

PDF
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
 
PPTX
Jubatus使ってみた 作ってみたJubatus
JubatusOfficial
 
PDF
【Unite Tokyo 2019】たのしいDOTS〜初級から上級まで〜
UnityTechnologiesJapan002
 
PDF
mmapパッケージを使ってお手軽オブジェクト管理
Shintaro Fukushima
 
PPTX
backbone としての timm 入門
Takuji Tahara
 
PDF
[第2版]Python機械学習プログラミング 第8章
Haruki Eguchi
 
PDF
Pythonデータ分析 第３回勉強会資料 ８章
Makoto Kawano
 
PDF
Jubaanomalyについて
JubatusOfficial
 
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
 
Jubatus使ってみた 作ってみたJubatus
JubatusOfficial
 
【Unite Tokyo 2019】たのしいDOTS〜初級から上級まで〜
UnityTechnologiesJapan002
 
mmapパッケージを使ってお手軽オブジェクト管理
Shintaro Fukushima
 
backbone としての timm 入門
Takuji Tahara
 
[第2版]Python機械学習プログラミング 第8章
Haruki Eguchi
 
Pythonデータ分析 第３回勉強会資料 ８章
Makoto Kawano
 
Jubaanomalyについて
JubatusOfficial
 

What's hot (16)

PDF
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
 
PDF
2015年度GPGPU実践プログラミング　第7回　総和計算
智啓 出川
 
KEY
PyOpenCLによるGPGPU入門 Tokyo.SciPy#4 編
Yosuke Onoue
 
PDF
Pythonによる機械学習入門 ～Deep Learningに挑戦～
Yasutomo Kawanishi
 
PDF
kagamicomput201714
swkagami
 
PPTX
みんなが知らない pytorch-pfn-extras
Takuji Tahara
 
PDF
TensorFlow計算グラフ最適化処理
Atsushi Nukariya
 
PPTX
[第2版]Python機械学習プログラミング 第9章
Haruki Eguchi
 
PDF
Python 機械学習プログラミング データ分析ライブラリー解説編
Etsuji Nakai
 
PDF
Jubatusでマルウェア分類
Shuzo Kashihara
 
PDF
Juliaで並列計算
Shintaro Fukushima
 
PDF
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Yasuyuki Sugai
 
PPTX
機械学習
ssusere8ae711
 
PDF
2018年01月27日 TensorFlowの計算グラフの理解
aitc_jp
 
PPTX
ぼくの実装した最弱のディープラーニング
なおき きしだ
 
PPTX
Jubatus 1.0 の紹介
JubatusOfficial
 
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
 
2015年度GPGPU実践プログラミング　第7回　総和計算
智啓 出川
 
PyOpenCLによるGPGPU入門 Tokyo.SciPy#4 編
Yosuke Onoue
 
Pythonによる機械学習入門 ～Deep Learningに挑戦～
Yasutomo Kawanishi
 
kagamicomput201714
swkagami
 
みんなが知らない pytorch-pfn-extras
Takuji Tahara
 
TensorFlow計算グラフ最適化処理
Atsushi Nukariya
 
[第2版]Python機械学習プログラミング 第9章
Haruki Eguchi
 
Python 機械学習プログラミング データ分析ライブラリー解説編
Etsuji Nakai
 
Jubatusでマルウェア分類
Shuzo Kashihara
 
Juliaで並列計算
Shintaro Fukushima
 
Deep Learningハンズオン勉強会「Caffeで画像分類を試してみようの会」
Yasuyuki Sugai
 
機械学習
ssusere8ae711
 
2018年01月27日 TensorFlowの計算グラフの理解
aitc_jp
 
ぼくの実装した最弱のディープラーニング
なおき きしだ
 
Jubatus 1.0 の紹介
JubatusOfficial
 
Ad

Similar to Deep Learning Demonstration using Tensorflow (7th lecture) (20)

PDF
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
Teruyuki Sakaue
 
PPTX
LUT-Network ～本物のリアルタイムコンピューティングを目指して～
ryuz88
 
KEY
PyOpenCLによるGPGPU入門
Yosuke Onoue
 
PDF
研究生のためのC++ no.7
Tomohiro Namba
 
PDF
kagami_comput2016_14
swkagami
 
PPTX
運用構築技術者の為のPSプログラミング第1回
Shigeharu Yamaoka
 
PDF
CLUB DB2 第137回：基礎から再入門！DB2モニタリング入門
Akira Shimosako
 
PDF
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
 
PDF
Das 2015
Takefumi MIYOSHI
 
PDF
Deep learning実装の基礎と実践
Seiya Tokui
 
PPTX
今さら聞けないHadoop勉強会第３回　セントラルソフト株式会社（20120327）
YoheiOkuyama
 
PDF
[第2版]Python機械学習プログラミング 第13章
Haruki Eguchi
 
PDF
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTURE Project
 
PDF
ソフトウェアエンジニアのための「機械学習理論」入門・ハンズオン演習ガイド
Etsuji Nakai
 
PDF
Hpc148
N.Nakasato
 
PPTX
8 並列計算に向けた pcセッティング
Takeshi Takaishi
 
PDF
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
Keisuke Umeno
 
PPTX
Deep Learning基本理論とTensorFlow
Tadaichiro Nakano
 
PPTX
SQLチューニング入門 入門編
Miki Shimogai
 
PDF
Media Kinect2014 day7
Akihiko Shirai
 
[DSO] Machine Learning Seminar Vol.1 Chapter 1 and 2
Teruyuki Sakaue
 
LUT-Network ～本物のリアルタイムコンピューティングを目指して～
ryuz88
 
PyOpenCLによるGPGPU入門
Yosuke Onoue
 
研究生のためのC++ no.7
Tomohiro Namba
 
kagami_comput2016_14
swkagami
 
運用構築技術者の為のPSプログラミング第1回
Shigeharu Yamaoka
 
CLUB DB2 第137回：基礎から再入門！DB2モニタリング入門
Akira Shimosako
 
最先端NLP勉強会2017_ACL17
Masayoshi Kondo
 
Das 2015
Takefumi MIYOSHI
 
Deep learning実装の基礎と実践
Seiya Tokui
 
今さら聞けないHadoop勉強会第３回　セントラルソフト株式会社（20120327）
YoheiOkuyama
 
[第2版]Python機械学習プログラミング 第13章
Haruki Eguchi
 
ADVENTUREの他のモジュール・関連プロジェクトの紹介
ADVENTURE Project
 
ソフトウェアエンジニアのための「機械学習理論」入門・ハンズオン演習ガイド
Etsuji Nakai
 
Hpc148
N.Nakasato
 
8 並列計算に向けた pcセッティング
Takeshi Takaishi
 
分散メモリ環境におけるシェルスクリプトの高速化手法の提案
Keisuke Umeno
 
Deep Learning基本理論とTensorFlow
Tadaichiro Nakano
 
SQLチューニング入門 入門編
Miki Shimogai
 
Media Kinect2014 day7
Akihiko Shirai
 
Ad

More from Parth Nandedkar (12)

PDF
Large scale cell tracking using an approximated Sinkhorn algorithm
Parth Nandedkar
 
PPTX
Large scale cell tracking using an approximated Sinkhorn algorithm
Parth Nandedkar
 
PDF
Discount tracker - Fujitsu Hackathon
Parth Nandedkar
 
PPTX
Motion and Position Map in Cell Tracking for Bioimaging
Parth Nandedkar
 
PPTX
Line Detection in Computer Vision - Recent Developments and Applications
Parth Nandedkar
 
PPTX
Line Detection in Computer Vision
Parth Nandedkar
 
PDF
Speech at english_seminar
Parth Nandedkar
 
PDF
Permutations and Combinations IIT JEE+Olympiad Lecture 1
Parth Nandedkar
 
PDF
Permutations and Combinations IIT JEE+Olympiad Lecture 4
Parth Nandedkar
 
PDF
Permutations and Combinations IIT JEE+Olympiad Lecture 3
Parth Nandedkar
 
PDF
LSTM and GRU RNNs in Sentiment Analysis (Japanese)
Parth Nandedkar
 
PDF
Basics of Deep Learning (2nd lecture)
Parth Nandedkar
 
Large scale cell tracking using an approximated Sinkhorn algorithm
Parth Nandedkar
 
Large scale cell tracking using an approximated Sinkhorn algorithm
Parth Nandedkar
 
Discount tracker - Fujitsu Hackathon
Parth Nandedkar
 
Motion and Position Map in Cell Tracking for Bioimaging
Parth Nandedkar
 
Line Detection in Computer Vision - Recent Developments and Applications
Parth Nandedkar
 
Line Detection in Computer Vision
Parth Nandedkar
 
Speech at english_seminar
Parth Nandedkar
 
Permutations and Combinations IIT JEE+Olympiad Lecture 1
Parth Nandedkar
 
Permutations and Combinations IIT JEE+Olympiad Lecture 4
Parth Nandedkar
 
Permutations and Combinations IIT JEE+Olympiad Lecture 3
Parth Nandedkar
 
LSTM and GRU RNNs in Sentiment Analysis (Japanese)
Parth Nandedkar
 
Basics of Deep Learning (2nd lecture)
Parth Nandedkar
 

Deep Learning Demonstration using Tensorflow (7th lecture)