SensorBeeでChainerをプラグインとして使う
- 2. 自己紹介 田中大輔 (@disktnk) – 某ﾋﾟｰ社 エンジニア – アニオタ枠採用 – Chainer開発者では*ない* – 元金融工学ライブラリ屋さん – I love Java! 2
- 3. (特に) ネットワークのエッジ / フォグにおいて ストリームデータに対して 機械学習 (特にDeep Learning) を利用した 非構造化データ向けのETLを 低レイテンシで適用することを目的としたツール Stream Processing Engine for IoT http://sensorbee.io 3
- 4. 参考: SensorBeeの特徴 Stateful – 非構造化データの加工・転送を担う – プラグインと連携することにより、特徴量抽出や機械学習が可能。 Expressive – CQL (Continuous Query Language) の方言である BQL という、SQLライクなスク リプトにより操作。 – スキーマレスであり、JSONライクな構造データを扱う Lightweight – Go言語で実装。実行ファイルは大体30MBくらい。 – OS は特に限定していないが、普段は Linux や Mac で開発している – Raspberry Pi でも動く (確認済) – Windows でももちろん動くが、一部ブラグインでは要修正 (cgo周り) 4
- 5. ユースケース: カメラからの顔認識 OpenCV の CascadeClassifier を使用した顔認識 – Haar-like、LBPなどのアルゴリズムを使用可能 5 ここで顔認識を行う →x,y,w,h を出力するUDF カメラのフレームデータ を取得するSource
- 6. ユースケース: カメラからの顔認識 OpenCV の VideoWriter を使用して動画にまとめる 6 x,y,w,h を元に枠で囲 むUDF 動画ファイル を作るSink
- 7. ユースケース: ラブライブOP (第1期) と顔認識 7 ultraist様のLBPモデルを使用 http://ultraist.hatenablog.com/entry/20110718/1310965532
- 10. Illustration2vec Illustration2vec – http://illustration2vec.net – イラストのキャラ属性を特定するNN。VGGよりも精度が高い。 – 学習済のモデル (caffe model) まで配布されていて至れり尽くせり – ただし今回、学習モデルは自分で作った。アニメOPから切り取った顔だと特定で きなかったので。。。 ImageNet でも十分な精度は得られるかも – ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 http://bohemia.hatenablog.com/entry/2015/11/22/174603 10
- 11. SensorBee から python を呼び出す sensorbee/pymlstate – 機械学習に特化した python バインドプラグイン 11
- 12. SensorBee から python を呼び出す sensorbee/pymlstate – 機械学習に特化した python バインドプラグイン 12
- 13. 参考: SensorBeeとPythonのリンク cgoを使ってPython.hとリンク – pkg-configを前提としている – windowsで動かすためにはちょっと修正が必要 Pythonの基本型とSensorBeeのdata.Typeとを自動でConvert – numpy系の型は手動で基本型へ変える PFN社内では多数実績あり – インターフェースはまだ検討中、そのため version 0 13
- 15. おまけ: 顔認識からの 15
- 16. おまけ: 顔認識からの笑い男 全ハッカーの憧れ 16 x,y,w,h を元に画像を貼るUDF
- 17. おまけ: ラブライブOP (第1期) と笑い男 17
- 18. Autonomous robot car control demonstration in CES2016 https://www.youtube.com/watch?v=7A9UwxvgcV0 – こちらはちゃんとした実用例、バックエンドにSensorBeeを使用 18
- 19. ぜひ使ってみてください！ http://sensorbee.io http://docs.sensorbee.io/en/latest/ https://github.com/sensorbee/sensorbee ChainerのMNISTサンプルをSensorBeeから動かす https://github.com/sensorbee/pymlstate/tree/master/example/mnist 今回のデモ動画: https://github.com/disktnk/sb_facedetect_demo 19