![18
２．環境構築
後々エラーが起きるので、Caffeコードを一部修正
/usr/local/caffe/python/caffe/io.py:253行目
if ms != self.inputs[in_][1:]:
- raise ValueError('Mean shape incompatible with input shape.')
+ # raise ValueError('Mean shape incompatible with input shape.')
+ in_shape = self.inputs[in_][1:]
+ m_min, m_max = mean.min(), mean.max()
+ normal_mean = (mean - m_min) / (m_max - m_min)
+ mean = resize_image(normal_mean.transpose((1,2,0)),in_shape[1:]).transpose((2,0,1)) * (m_max -
m_min) + m_min](https://image.slidesharecdn.com/hajimetenodeeplearning-150929100617-lva1-app6891/85/Deep-Learning-18-320.jpg)
![26
４．識別プログラム作成
npy形式をsynset.txtと照合して該当カテゴリを表示する
# synset_words.txtロード
categories = numpy.loadtxt(sys.argv[1], str, delimiter="t")
# npy形式データロード
scores = numpy.load(sys.argv[2])
# score順にSortし、top_k数分だけカテゴリ表示する
top_k = 3
prediction = zip(scores[0].tolist(), categories)
prediction.sort(cmp=lambda x, y: cmp(x[0], y[0]), reverse=True)
for rank, (score, name) in enumerate(prediction[:top_k], start=1):
print('#%d | %s | %4.1f%%' % (rank, name, score * 100))
http://techblog.yahoo.co.jp/programming/caffe-intro/](https://image.slidesharecdn.com/hajimetenodeeplearning-150929100617-lva1-app6891/85/Deep-Learning-26-320.jpg)
![57
Selective Searchコーディング例
※Labellio のSelectiveSearchライブラリ使用
import selectivesearch
# selective search実行 regionsにx,yの座標とそこからの距離が格納
img_lbl, regions = selectivesearch.selective_search(inputs[0], scale=100, sigma=0.9, min_size=10)
for r in regions:
# 同じ領域が検出されたら対象外
if r['rect'] in candidates:
continue
# 500ピクセル以下は対象が
if r['size'] < 500:
continue
candidates.add(r['rect'])
for x,y,w,h in candidates:
imgar = inputs[0][y: y+h, x: x+w]
predictions = classifier.predict([imgar], not args.center_only)](https://image.slidesharecdn.com/hajimetenodeeplearning-150929100617-lva1-app6891/85/Deep-Learning-57-320.jpg)
はじめての人のためのDeep Learning
- 2. 2 目次: 1. 既存のモデルで画像識別器作成 2. クラウドでモデルを学習 3. DLを利用したプログラム作成 4. まとめ
- 4. 4 以前OpenCVでの画像認識をやってみたが X 顔、車など物体毎に設定ファイルの変更が必要 X 車の種類など細かい認識が難しい X 独自の物体認識器を作るのにも手間がかかる こういうった辛さも、流行のDeepLearningなら解 決してくれるのでは？という思いから
- 5. 5 研究内容: X 顔、車など物体毎に設定ファイルの変更が必要 X 車の種類など細かい認識が難しい →「１．既存のモデルで画像識別器作成」で解決策を 研究 X 独自の物体認識器を作るのにも手間がかかる →「２．クラウドでモデルを学習」で解決策を研究 最後に上記研究で蓄えた知識の応用として 「 ３．DLを利用したプログラム作成」で研究
- 7. 7 目次: 1. 既存のモデルで画像識別器作成 2. クラウドでモデルを学習 3. DLを利用したプログラム作成 4. まとめ
- 8. 8 いきなりDemo
- 10. 10 Demo作成までに以下の工程を実施 以降でそれぞれを解説する 1. 理論実装 2. 環境構築 3. ニューラルネットワーク、学習モデル用意 4. 画像識別プログラム作成
- 11. 11 Demo作成までに必要な工程 1. 理論実装 2. 環境構築 3. ニューラルネットワーク、学習済モデル 4. 画像識別プログラム作成
- 13. 13 １．理論実装 代表的なDeepLearning フレームワーク • Caffe（←今回使用） - 現在のデファクトスタンダード - コミュニティが盛んで学習済モデル（後述）も豊富 - 情報が豊富であり馴染みやすいため今回使用 • Chainer - Jubatusでお馴染みのPFI社が作成 - 時系列等を扱えるRNN/LSTM対応 - ネットワーク設計のためのDSLが簡潔でわかりやすい • Deeplearning4j - 分散処理可能でHadoop上でも動作
- 14. 14 Demo作成までに必要な工程 1. 理論実装 2. 環境構築 3. ニューラルネットワーク、学習済モデル 4. 画像識別プログラム作成
- 15. 15 ２．環境構築 Caffeは依存ライブラリが非常に多いため手動インストールは 辛い。。。 依存ライブラリ CUDA : GPUを使用するためのライブラリ。NVIDEIA提供。 BLAS: ベクトル/行列演算のための線形代数操作ライブラリ Boost: C++ユーティリティライブラリ Protobuf: データシリアライズライブラリ。Google Protocol Buffer LevelDB: 学習・評価データ格納用DB Snappy: データ圧縮・解凍ライブラリ HDF5: 大量数値データ保存用ライブラリ OpenCV: Computer Vision用ライブラリ and more...
- 16. 16 ２．環境構築 with CUDA: GPU環境向け without CUDA: CPU環境向け https://github.com/aydindemircioglu/vagrantcaffe
- 17. 17 ２．環境構築 > git clone https://github.com/aydindemircioglu/vagrantcaffe.git > cd ./vagrantcaffe/without.CUDA > vagrant up > vagrant ssh > cd /usr/local/caffe
- 18. 18 ２．環境構築 後々エラーが起きるので、Caffeコードを一部修正 /usr/local/caffe/python/caffe/io.py:253行目 if ms != self.inputs[in_][1:]: - raise ValueError('Mean shape incompatible with input shape.') + # raise ValueError('Mean shape incompatible with input shape.') + in_shape = self.inputs[in_][1:] + m_min, m_max = mean.min(), mean.max() + normal_mean = (mean - m_min) / (m_max - m_min) + mean = resize_image(normal_mean.transpose((1,2,0)),in_shape[1:]).transpose((2,0,1)) * (m_max - m_min) + m_min
- 20. 20 Demo作成までに必要な工程 1. 理論実装 2. 環境構築 3. ニューラルネットワーク/学習済モデル 4. 画像識別プログラム作成
- 21. 21 ３．ニューラルネットワーク、学習済モデル用意 Deep Learningを用いた画像認識では 1. ニューラルネットワークと呼ばれるモデルの定義 2. それを元に学習させた学習済モデル が動作に必要 →Caffeでは「Model Zoo」としてネット上に 公開！ （※非商用ですけど、、、）
- 22. 22 ３．ニューラルネットワーク、学習モデル用意 > cd /usr/local/caffe/examples/imagenet > wget https://raw.githubusercontent.com/sguada/caffe- public/master/models/get_caffe_reference_imagenet_model.sh > chmod u+x get_caffe_reference_imagenet_model.sh > ./get_caffe_reference_imagenet_model.sh > cd /usr/local/caffe/data/ilsvrc12 > ./get_ilsvrc_aux.sh
- 24. 24 Demo作成までに必要な工程 1. 理論実装 2. 環境構築 3. ニューラルネットワーク、学習済モデル 4. 画像識別プログラム作成
- 25. 25 ４．識別プログラム作成 サンプルに格納されたプログラムをそのまま利用 /usr/local/caffe/python/caffe/classify.py(以下抜粋) # cpu/gpu切り替え if args.gpu: caffe.set_mode_gpu() print("GPU mode") else: caffe.set_mode_cpu() print("CPU mode") # モデルから対応カテゴリを予測し、npy形式で保存する predictions = classifier.predict(inputs, not args.center_only) np.save(args.output_file, predictions)
- 26. 26 ４．識別プログラム作成 npy形式をsynset.txtと照合して該当カテゴリを表示する # synset_words.txtロード categories = numpy.loadtxt(sys.argv[1], str, delimiter="t") # npy形式データロード scores = numpy.load(sys.argv[2]) # score順にSortし、top_k数分だけカテゴリ表示する top_k = 3 prediction = zip(scores[0].tolist(), categories) prediction.sort(cmp=lambda x, y: cmp(x[0], y[0]), reverse=True) for rank, (score, name) in enumerate(prediction[:top_k], start=1): print('#%d | %s | %4.1f%%' % (rank, name, score * 100)) http://techblog.yahoo.co.jp/programming/caffe-intro/
- 27. 27 ４．識別プログラム作成 コマンド実行 > python /usr/local/caffe/python/classify.py --raw_scale 255 /hoge.jpg /usr/local/caffe/result.npy 1>/dev/null 2>/dev/null ; python /usr/local/caffe/show_result.py /usr/local/caffe/data/ilsvrc12/synset_words.txt /usr/local/caffe/result.npy"
- 29. 29 目次: 1. 既存のモデルで画像識別器作成 2. クラウドでモデルを学習 3. DLを利用したプログラム作成 4. まとめ
- 34. 34 じゃあやってみよう！
- 35. 35 似ている芸能人を判別してみ よう 1. でんぱ組.inc 最上もが 2. きゃりーぱみゅぱみゅ削除
- 38. 38 これだけ （数分で完了）
- 39. 39 Demo
- 41. 41 目次: 1. 既存のモデルで画像識別器作成 2. クラウドでモデルを学習 3. DLを利用したプログラム作成 4. まとめ
- 42. 42 あらたな悩み
- 43. 43 今までの画像認識は一枚一オブジェクトしか対応していない #1| goose #2| hen #3| Kakatoe galerita ○ #1| unicycle (一輪車) #2| taxi #3| go-kart(ゴーカート) ？ https://www.pakutaso.com/20110944268post-668.html http://www.ashinari.com/2015/09/18-393195.php?category=11
- 47. 47 複数オブジェクトへの対応への道: R-CNN 1. 画像をインプット 2. 画像から物体があると思われる領域を抽出する 3.4. DeepLearningを使い、領域毎に画像認識させる Girshick, R., Donahue, J., Darrell, T., & Malik, J. “Rich feature hierarchies for accurate object detection and semantic segmentation”. CVPR2014.
- 48. 48 物体があると思わえる領域を抽出する方法 CPMC(Constrained Parametric Min-Cuts) ・点を配置し、その周囲をグラフカット ・処理速度が遅いが、領域を高精度に判定 Selective Search ・色、輝度、テクスチャが似ている領域を探索し、物体検 出する ・高速だが精度はCPMCほどではない ・最近流行りの判定方法 →今回は処理速度が早く、モダンなSelective Searchを使用
- 52. 52 サムネイル抽出ロジック 1. SelectiveSearchで領域検出する 2. 検出した領域をDeepLearningにかけScoreを測る 3. Scoreの高いTop-Nを取得 4. Top-NのScoreを加算していき、最も高い点数を得 た領域のまん中を中心にしてサムネイル抽出する
- 54. 54 2. 検出した領域をDeepLearningにかけScoreを測る 3. Scoreの高いTop-Nを取得 Score: 0.462 Score: 0.456 Score: 0.460 ・・・
- 57. 57 Selective Searchコーディング例 ※Labellio のSelectiveSearchライブラリ使用 import selectivesearch # selective search実行 regionsにx,yの座標とそこからの距離が格納 img_lbl, regions = selectivesearch.selective_search(inputs[0], scale=100, sigma=0.9, min_size=10) for r in regions: # 同じ領域が検出されたら対象外 if r['rect'] in candidates: continue # 500ピクセル以下は対象が if r['size'] < 500: continue candidates.add(r['rect']) for x,y,w,h in candidates: imgar = inputs[0][y: y+h, x: x+w] predictions = classifier.predict([imgar], not args.center_only)
- 59. 59 目次: 1. 既存のモデルで画像識別器をつくろう 2. クラウドでモデルを学習させよう 3. DLを利用したプログラムをつくろう 4. まとめ