Edge Computing 「あらゆるものが考える」世界を作るのに必要な技術
4 likes16,415 views
![yamlファイル
やってみた(Distiller Example)
version: 1
pruners:
conv1_pruner:
class: 'AutomatedGradualPruner'
initial_sparsity : 0.15
final_sparsity: 0.3
weights: [conv1.weight]
(中略)
policies:
- pruner:
instance_name : 'conv1_pruner'
starting_epoch: 1
ending_epoch: 100
frequency: 2
(後略)
conv1の重みを
1回目から100回目まで
2回に1回ずつ
0.3になるまで
枝刈りしてね
before after
NNZ : Number of Non Zero](https://image.slidesharecdn.com/20190906studyaichi-190907053945/85/Edge-Computing-17-320.jpg)
Edge Computing 「あらゆるものが考える」世界を作るのに必要な技術
- 2. Ref • 前職 : 機械学習・データ分析の研究 • 退職エントリが一大ムーブメントとなりましたね • 現職 : 作業着着て、CTOやってます • 工場向けのIoTシステム作ってます • メインの業務は通訳です • 趣味 : ブログやってます • 旅とか、理系ネタとか、勉強の記録とか • 『理系ネタを全力で』やった結果、本が出ました • 『一人アドベントカレンダー』やりがちです About Me. 本 : 身近な数学―数学で世界への見方が変わる! ブログ : PROCRASIST
- 4. Ref IoT : Internet of Things M2M:モノ同士で完結P2P:ヒト同士で完結 IoT あらゆるものが つながる 最近流行りの「IoT」ってなに？どう使うの？
- 6. エッジコンピューティングとは 数百kB～数MB 推論 1,2,3,4,2, … , 3,4,1,2,3 統計処理 100個のデータ {名前 : hokekiyoo} 匿名化 数kB ねこ 平均: 2,5, 標準偏差: 1.3 2つの統計量 {xxx : yyy} アップロードするデータ取得したデータ
- 7. エッジコンピューティング vs 普通のコンピューティング 精度 リソース 耐久性 コスト 帯域 電力 拘束条件付き最適化
- 10. Ref 精度とともに増えるモデルのパラメータ エッジでは、 高速かつ精度良く動かすチューニングが必要 SQLML : Convolutional Network 画像分類タスクでの誤答率と層の数
- 11. • ソフトウェア側の工夫 : モデル軽量化 • 枝刈り (pruning) • 量子化 (quantization) • 蒸留 (distillation) • ※モデルを軽くすることで、正規化され、汎化性能があがるという話もある 1. 推論処理の高速化 Ref LeapMindのディープラーニングモデル圧縮技術による低消費電力なシステム上での高速推論 SageMaker Neo Day21. エッジでディープラーニングを可能にする「モデル圧縮」技術 • ハードウェアに最適化させる • Amazon SageMaker Neo • 学習モデルはそのままで、実行デバイスに合わせて最適化してコンパイル • FPGAを使うとかもある
- 12. Ref 枝刈り (pruning) 関係の薄い 結合を0にする 入出力いずれか 0のところを消去 Learning both Weights and Connections for Efficient Neural Networks (NIPS2015)
- 14. 量子化 (quantization) 重みを1 or -1 にする ※重みを量子化する方法 (i) Deterministic ቊ +1 if 𝑤 > 0 −1 otherwise (ⅱ) Probablistic ቊ +1 with 𝑝 = 𝜎(𝑤) −1 with 1 − 𝑝 𝜎 = max 0, min 1, 𝑥 + 1 2 ※ハードシグモイドという Ref BinaryConnect: Training Deep Neural Networks with binary weights during propagations
- 15. Ref 蒸留(Distillation) Teacher : 強いモデル Student : 弱いモデル 入力データ ねこ いぬ へび 確率的に結果を算出 (クロスエントロピーなど) 結果を予測 (確率論的 or 決定論的) ねこ いぬ へび 2つの結果を合わせて 誤差を算出 Back Propagationにより重みを更新 Teacherの推論結果からわかることを 暗黙知としてStudentに伝える！ 例 : 犬と猫は割と近い etc… Distilling the Knowledge in a Neural Network Deep Learningにおける知識の蒸留 | Code Craft House
- 16. Ref • Intel製のオープンソース • 裏はPyTorchで動いている • yamlで軽量化のスケジューリングができる • 例 : 「30 回目から100回目にかけて枝刈りをして。」 • ドキュメントもかなり充実していて、読むだけで勉強になる モデル軽量化専門のライブラリ : Distiller DistillerでDeepLearningのモデルを軽量化: Gradual Pruning編 github : Distiller
- 17. yamlファイル やってみた(Distiller Example) version: 1 pruners: conv1_pruner: class: 'AutomatedGradualPruner' initial_sparsity : 0.15 final_sparsity: 0.3 weights: [conv1.weight] (中略) policies: - pruner: instance_name : 'conv1_pruner' starting_epoch: 1 ending_epoch: 100 frequency: 2 (後略) conv1の重みを 1回目から100回目まで 2回に1回ずつ 0.3になるまで 枝刈りしてね before after NNZ : Number of Non Zero
- 21. • 物理世界と結合 • センサーにより、現実世界のデータを集められる • 柔軟な設計 • 複数端末から一斉にデータを集めて学習する • 自信がない画像だけuploadして再学習とか • 異常検知 : 時期によって正常系が変化するときとかのモデルのチューニング • エッジはリアルタイム、クラウド部分はバッチ処理 • 画像をアップロードするのは深夜にすると、コストが下がるとか こんなことができるようになる
- 22. クラウドの力を借りよう
- 24. • Raspi環境作り • Raspiカメラの設定 • greengrassの導入 • DRL(DeepLearning Runtime)のインストール • AWSの環境作り • Greengrass, AWS IoTの設定 • Lambdaの設計、AWS IoTとの紐付け • S3バケットの作成 • 学習モデルの作成 • Lv0. pre-trainedモデルを持ってくる(SageMakerNeo) • Lv1. 作ったモデルをupdate • モデルを作る(PyTorch) • モデルをコンパイルする(SageMakerNeo:Compile Job) • モデルをデプロイする(S3, aws greengrass) • Lv2. モデルの軽量化(Distiller) • Lv3 アノテーションの仕組みを作る(自作 or Ground Truth) • Lv4. 再学習・コンパイル・デプロイを一気通貫(SageMaker) レシピ cf ※今回は遠隔デプロイにAWSのGreengrassを使ったが、 githubでも遠隔デプロイできるようになるらしい
- 25. • ネットワークつながってる？ • エッジで動いているLambdaのログを見るためには、sshでつないでおきたい • greengrasssdが起動しているか確認する。起動時に立ち上がるようにして おくと良い • エッジのLambdaから外にはアクセスできない？requestはできないので一 度AWSまで飛ばしてからうんぬんすることになる • まず、エラーログがどこに出るかわからない。それを把握する。 • greengrass Lambdaなら/var/…以下 • AWS IoTはデプロイ結果に情報が出てくる。 • ただしgreengrasssdが起動していないと永遠に進行中 • Lambdaはcloudwatchから • 各種要件を満たすかちゃんとチェックする • さすがに”Imcompatible”はどうしようもない… • pytorchでinputの形式を探るにはverboseをTrueにすればよい • ラズパイの容量もチェックしておく。起動できなくなっちゃう • エッジ端末のアーキテクチャ • Pythonのバージョンは正しい？ • インストールするソフトウェア(DRL, )のバージョンは正しい？ • AWS sagemakerでは使えないバージョンがある(pytorch1.1.0は未対応、 座して待つ) • エッジは一昔遅れがちかもしれない • センサやカメラを選ぶときに、その端末に適合しているかをチェックする めちゃエラーでた 使った時間の8割位はエラーの対処 ※そのうち出たエラー集を記事にしておきます。 • 権限周りはAWSにっとって一番面倒で、一番重要 • permissionとかAuthとかでるときはこれ • IAMポリシーを把握する • greengrassに証明書を埋め込むことを忘れずにね • 通信(MQTT) : greengrassのsubscriptionへの登録を忘れずに • Lambda->raspiリソース : greengrassのリソースへの登録を忘れずに • greengrassからS3へのアクセス権限を付与しないと学習モデル引っ張っ てこれないよ。firehoseとかもそう • 文字コード/json serializeはエンジニア能力いる • 画像をMQTTで送るので、エンコード/デコードしたい時が来る • base64わからん • np.float()はだめなのでfloatにキャストしてやろう • python2はデフォルトで日本語できないよ。 • AWSの使い方わからん • 特有のエラーがでるので、トラブルシューティンか見る • Lambdaの使い方がわからないと、はじめアップロードすらままならなかっ たりする • sagemakerも、それ様に「型」が決まっていたりする • greengrassでLambdaを使ってもらうところ • Document読もうな・英語は辛いけど
- 26. つくったアーキテクチャ AWS Cloud greengrass Edge Client IoT Core Lambda sagemaker sagemaker neo S3
- 27. つくったアーキテクチャ 写真 遠隔デプロイ・ モデルの更新 ローカルで推論 クラウドに結果を送信 特定の推論結果 で発火 自信のあるタスクは Slackに通知 自信のないデータを 再学習用に保存 学習 モデル軽量化 モデル保存 エッジ端末向け にコンパイル AWS Cloud greengrass Edge Client IoT Core Lambda sagemaker sagemaker neo S3
- 28. demo
- 30. • IoT/エッジコンピューティングは拘束条件付最適化 • ITの総合格闘技 • 札束で殴るのが難しい • ゆえに楽しい、アイディア勝負みたいなところもある • 適材適所で、リソースをうまく使う • AWSなどのクラウドを用いると良い • 物理デバイス×AIは来るぞ • 現実世界との結合がIoTの肝 • エッジコンピューティングが広がる土壌ができつつある • あらゆるものがつながる⇨あらゆるものが考える まとめ