Binarized Neural Networks
3 likes3,510 views
NIPS・ICDM輪読会での発表資料です。 https://connpass.com/event/48804/
![（C）Recruit Communications Co., Ltd.
バックプロパゲーション
Straight-through estimator [Hinton, 2012]
• 確率的な離散値を持つニューロンのバックプロパゲーション
• 決定的な符号関数の場合は下記のように近似
7
要素ごとの掛け算
条件を満たす要素は１
満たさない要素は０](https://image.slidesharecdn.com/bbn-170211070420/85/Binarized-Neural-Networks-8-320.jpg)
![（C）Recruit Communications Co., Ltd.
AdaMaxの高速化
Shift-based AdaMax [Kingma & Ba, 2014]
• バッチ正則化と同様に乗算をシフト演算化
• ハイパーパラメタの一部を２の冪乗に設定しておく
9](https://image.slidesharecdn.com/bbn-170211070420/85/Binarized-Neural-Networks-10-320.jpg)
Binarized Neural Networks
- 1. Binarized Neural Networks Itay Hubara, Matthieu Courbariaux, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio NIPS & ICDM 2016 輪読会 紹介者：佐野正太郎 株式会社リクルートコミュニケーションズ
- 2. （C）Recruit Communications Co., Ltd. Binarized Neural Networks モチベーション • ニューラルネットの省メモリ化 – 小数点精度は32bitも要らない場合が多い – 組み込みシステムなどマシンパワーが低い場合の計算 提案手法：Binarized Neural Networks • 重みとノード出力が全て二値化されたネットワーク – 従来手法（BinaryConnect）では重みのみを二値化 • バイナリオペレーションによる高速化 – GPU計算で約７倍速（MNISTベンチマーク） 1
- 3. （C）Recruit Communications Co., Ltd. Binarized Neural Networks 活性化関数 => 重み付き和の符号関数 計算をバイナリ化に合わせて変更 • フォワード計算 • バックプロパゲーション • バッチ正則化の高速化 • AdaMaxの高速化 2
- 4. （C）Recruit Communications Co., Ltd. フォワード計算 3 K層目 バイナリ ベクトル 二値化された 重み行列を かける バッチ 正則化 K+1層目 バイナリ ベクトル ベクトル 各要素の 二値化 ・・・ ・・・ 重み行列 Wk は連続値として保持 フォワード計算時には二値化
- 5. （C）Recruit Communications Co., Ltd. XNORオペレーションの恩恵 4 • 『活性化関数出力 x 重み』ごとにXNORをかけて足しこむ • XNORによるGPUカーネル => 32bit floatに比べ約5.3倍速 +1 -1 -1 -1 +1 -1 +1 -1 +1
- 6. （C）Recruit Communications Co., Ltd. バックプロパゲーション 5 バッチ正則化 逆伝播 ロスに対する K+1層目の 勾配ベクトル 活性化関数への 入力についての 勾配ベクトル ・・・ ・・・ ロスに対する K層目の 勾配ベクトル
- 7. （C）Recruit Communications Co., Ltd. バックプロパゲーション 6 バッチ正則化 逆伝播 ロスに対する K+1層目の 勾配ベクトル 活性化関数への 入力についての 勾配ベクトル ・・・ ・・・ ロスに対する K層目の 勾配ベクトル 符号関数の勾配？
- 8. （C）Recruit Communications Co., Ltd. バックプロパゲーション Straight-through estimator [Hinton, 2012] • 確率的な離散値を持つニューロンのバックプロパゲーション • 決定的な符号関数の場合は下記のように近似 7 要素ごとの掛け算 条件を満たす要素は１ 満たさない要素は０
- 9. （C）Recruit Communications Co., Ltd. バッチ正則化の高速化 8 Batch Normalization Shift based Batch Normalization ミニバッチの平均 入力の中心化 ミニバッチの分散 正規化 スケール & シフト ２の冪上への ラウンディング ビットシフト
- 10. （C）Recruit Communications Co., Ltd. AdaMaxの高速化 Shift-based AdaMax [Kingma & Ba, 2014] • バッチ正則化と同様に乗算をシフト演算化 • ハイパーパラメタの一部を２の冪乗に設定しておく 9
- 11. （C）Recruit Communications Co., Ltd. 実験：ベンチマーク評価 10 MNIST/SVHN/CIFAR-10でベースライン手法と比較…
- 12. （C）Recruit Communications Co., Ltd. 実験：XNORカーネルによる高速化 11 MNISTで ７倍高速化 XNORカーネルで最適化した場合のフォワード計算速度…