高位合成でDeep learning
3 likes3,142 views
以下の勉強会にて使用したスライドになります。 RTLを語る会(12) 〜Vivado HLS GO〜 http://talkrtl.connpass.com/event/36574/
![パーセプトロン用パラメータ
● 各パラメータは主に学習時に更新される（リードライト）
● ユーザーは基本的にあまり操作しない
○ 初期値の設定→バイアスは０、その他はランダム
○ 学習値の設定→１回設定するのみ
● かなり容量が必要…実用的に動かすには一部外部メモリを使わないと難しい？
○ Bias : [L1Size]+([L1Size]*[L2Size])+[L3Size]+[L4Size(10)]
○ Filter : [L1Size]*[WindowSize1]+[L1Size]*[L2Size]*[WindowSize2]
○ Weight : ([L2Size]*[L2OutFrame(49)])*[L3Size]+[L3Size]*[L4Size(10)]
○ →L1Size=32,L2Size=64,L3Size=1024,WindowSize=5x5で見積もると…
Bias=3,114要素,Filter=52,000要素,Weight=3,221,504要素 合計約3.3M要素
サイズの調整が必要 でかい!!](https://image.slidesharecdn.com/deeplearning-160926075042/85/Deep-learning-26-320.jpg)
![モジュールIFがどうなったか見てみる
項目 I/F セット数 詳細
Input Frame Memory 1 Address[9:0],Data[7:0]
L1 Filter Memory 1 Address[8:0],Data[7:0]
L1 Bias Memory 1 Address[4:0],Data[7:0]
L2 Filter Memory 1 Address[13:0],Data[7:0]
L2 Bias Memory 1 Address[8:0],Data[7:0]
L3 Weight Memory 1 Address[18:0],Data[7:0]
L3 Bias Memory 1 Address[8:0],Data[7:0]
L4 Weight Memory 1 Address[12:0],Data[7:0]
L4 Bias Memory 1 Address[3:0],Data[7:0]
Result Validつき出
力
8 Data[7:0]
配列はデフォルトですべて１次元メモリ
（合成結果には接続すべきメモリは含まれない）
● L3_Weightが512kバイト空間をご所望
良し悪しは兎も角、概ね想定通りの結果
１次元メモリなので基本的に異なる要素へのアク
セスができない
（リードだけの場合、2PortRAMの２面読み出しに
なることはある）](https://image.slidesharecdn.com/deeplearning-160926075042/85/Deep-learning-33-320.jpg)
![レイテンシの内訳を見てみる（全体）
レイテンシ表示は以下のようになっている
[Latency] = [Iteration Latency] × [Trip count]
問題がTrip Count(ループ回数)か、Iteration
Latency(１回分の処理にかかるサイクル数)か
を考えていく
Loop14が全体レイテンシの約65%を占めてい
る。もう少し細かく見てみることにする。](https://image.slidesharecdn.com/deeplearning-160926075042/85/Deep-learning-34-320.jpg)
![入出力をバラす
入出力はデフォルトなのでデータ幅=8Bitのメモリになっている
出力は１０個バラにする
→HLS_ARRAY_PARTITION complete
その他は32Bit幅のメモリに変更する
→HLS_ARRAY_RESHAPE cyclic factor=4
原因不明の死…blockにすると通る…とりあえずblockで続けることに。。。
Layer4()
weight bias
[31:0] [31:0]
[7:0]
[7:0]
in
[31:0]
Array reshapingさん、突如StackDumpをキメる](https://image.slidesharecdn.com/deeplearning-160926075042/85/Deep-learning-45-320.jpg)
高位合成でDeep learning
- 2. 自己紹介 Twitter ● @morittyo HP ● morilab報告書 http://morilab-report.blog.jp/ 仕事 ● RTL設計・検証 ○ Verilog , SystemVerilog, VivadoHLS(高位合成) ○ 検証メソドロジ(UVM)、ランダム検証、アサーション等
- 3. 目的（目標） 1. ディープラーニングとやらをC++でゼロから書いてみる 2. Xilinx VivadoHLS WebEditionを使って高位合成する 3. カッコイイ！（予定）
- 4. 前提 ● RTL設計ができる ● VivadoHLSを使っての高位合成経験がある ● ニューラルネットワークに関しては素人
- 5. 設計環境 ● VivadoHLS 2016.2 ● Windows 10 Home (64bit) ● i5-4210U @1.70GHz 2.40GHz ● Memory 8GB
- 8. ニューロンモデル 複数から入力を受け付ける ● 出力は１つ Step1 : 各入力を重みと積和演算する u = weight * x + bias Step2 : 活性化関数を通す y = func(u) *W2 *W1 *W3 x1 x2 x3 ∑ func() y bias
- 12. 多層ニューラルネットワーク
- 15. C++実装
- 16. Matrixクラス とりあえず行列演算用クラスを作成 ● まずはC++に慣れよう ● クラス記述がちゃんと高位合成できるかどうかも知りたい 数学力に乏しいためかあまり活用できていない気がする…
- 17. MNISTクラス MNISTデータセットを読み出すだけのクラス ● http://yann.lecun.com/exdb/mnist/ 以下のイメージファイルとラベルファイルに対応 ● TRAINING SET LABEL FILE (train-labels-idx1-ubyte) ● TRAINING SET IMAGE FILE (train-images-idx3-ubyte) 高位合成はされないが、テスト時に使用
- 18. MNISTデータセット MNISTデータセットとは？ ● 28x28=784画素からなる8ビット(255諧調)モノクロ画像 ● ０～９の手書き文字 ● 答え（ラベル）付き ● 機械学習業界では有名なデータ（らしい） ● イケてる機械学習だと正解率９９％以上とか 実際の背景色は0x00（黒）
- 19. convolution_perceptronクラス 畳み込みニューラルネットのモデル 入力層（L1）、中間層（L2）にて使用 ● 畳み込み演算 ○ 入力画像 （幅＝IN_X、高さ＝IN_Y) ○ フィルタウインドウ（幅＝ CNV_X、高さ＝CNV_Y) ○ 額縁補正 →外周データは０扱いとし、演算対象と同じ画像サイズで出力 ● プーリング演算 ○ ウインドウ（２ｘ２固定） ○ 最大値選択 ● 活性化関数 ○ ReLU →０以下を０にクリッピングする関数。演算負荷が少なく、学習結果も良いらしい。
- 21. softmax_perceptron_fnnクラス 単純パーセプトロンのモデル → relu_perceptron_fnnクラスから派生 出力層（L4）で使用 ● 活性化関数 ○ ソフトマックス ■ 出力は正規化され、合計値が常に同じ ■ 活性化関数にてexp関数を使用
- 22. なんとなく実装完了 実装にかかった時間はおよそ３日 ● C++のテンプレートと仮想関数に嵌るなど ● 学習部分が無いのでとても残念な感じのコード ○ 学習後のパラメータを使って動かすことは出来る … ● GitHubに一応コミットしてあります（クソコード） ○ https://github.com/morilab/deep_learning_hls
- 23. 高位合成にむけて
- 24. インターフェース インターフェース仕様は性能に大きく影響する ● 入力画像 ○ 28x28x8bit (MNIST) ● パーセプトロン用パラメータ ○ Weight ○ Filter ○ Bias ● 判定結果 ○ 0～9の各確率 ● 学習用パラメータ ○ 教師信号（０～９のいずれか） ○ 学習率 ○ その他？（良く分かっていない）
- 25. 入力画像 ● ディープラーニングによる学習を行う場合は大量の画像データを切り替える ● MNISTデータセットを使いたいのでそちらに合わせる ● リードのみ →今回はサイズがそれほど大きくないのでブロックRAMでの実装を目指す サイズ ： 28x28x8=6272Bit / 784Byte
- 26. パーセプトロン用パラメータ ● 各パラメータは主に学習時に更新される（リードライト） ● ユーザーは基本的にあまり操作しない ○ 初期値の設定→バイアスは０、その他はランダム ○ 学習値の設定→１回設定するのみ ● かなり容量が必要…実用的に動かすには一部外部メモリを使わないと難しい？ ○ Bias : [L1Size]+([L1Size]*[L2Size])+[L3Size]+[L4Size(10)] ○ Filter : [L1Size]*[WindowSize1]+[L1Size]*[L2Size]*[WindowSize2] ○ Weight : ([L2Size]*[L2OutFrame(49)])*[L3Size]+[L3Size]*[L4Size(10)] ○ →L1Size=32,L2Size=64,L3Size=1024,WindowSize=5x5で見積もると… Bias=3,114要素,Filter=52,000要素,Weight=3,221,504要素 合計約3.3M要素 サイズの調整が必要 でかい!!
- 27. 判定結果 ● ０～９の各確率を正規化して出力する ● 判定時はライトのみ、学習時はリードライト ● 数が１０個と少ないのでレジスタ実装で問題なさそう
- 28. これらを踏まえて…
- 29. 設計仕様 ニューラルネットワーク構成 １層目 ２層目 ３層目 ４層目 セット数 ２０ ２０ ５００ １０ フィルタ 5x5 5x5 - - 活性化関数 ReLU ReLU ReLU SoftMax 入力 28x28x8Bit (白黒) 内部変数型 S2.6 (-2.0～1.984375) 出力 各8Bit
- 30. Solution1
- 32. デフォルト設定での合成 ディレクティブ（高位合成に対する指示）が何もない場合、 ● ループは記述通りに実装されるため、リソースは少ないがレイテンシは大きい ● パイプライン化を行わない ● ループなどの並列実行を行わない …というふうに、並列化を行わないためレイテンシが（恐らく）最大となる回路を生成 演算処理はProjectSettingにあるクロック周波数を元に適度にFFを挟んだ回路になる ⇒周波数設定を弄るとレイテンシサイクルが減るが、処理の絶対時間は大体同じ
- 33. モジュールIFがどうなったか見てみる 項目 I/F セット数 詳細 Input Frame Memory 1 Address[9:0],Data[7:0] L1 Filter Memory 1 Address[8:0],Data[7:0] L1 Bias Memory 1 Address[4:0],Data[7:0] L2 Filter Memory 1 Address[13:0],Data[7:0] L2 Bias Memory 1 Address[8:0],Data[7:0] L3 Weight Memory 1 Address[18:0],Data[7:0] L3 Bias Memory 1 Address[8:0],Data[7:0] L4 Weight Memory 1 Address[12:0],Data[7:0] L4 Bias Memory 1 Address[3:0],Data[7:0] Result Validつき出 力 8 Data[7:0] 配列はデフォルトですべて１次元メモリ （合成結果には接続すべきメモリは含まれない） ● L3_Weightが512kバイト空間をご所望 良し悪しは兎も角、概ね想定通りの結果 １次元メモリなので基本的に異なる要素へのアク セスができない （リードだけの場合、2PortRAMの２面読み出しに なることはある）
- 34. レイテンシの内訳を見てみる（全体） レイテンシ表示は以下のようになっている [Latency] = [Iteration Latency] × [Trip count] 問題がTrip Count(ループ回数)か、Iteration Latency(１回分の処理にかかるサイクル数)か を考えていく Loop14が全体レイテンシの約65%を占めてい る。もう少し細かく見てみることにする。
- 38. Solution2
- 39. チューニング用に仕様を弄る １回３０分も待つのがつらいので、一時的にサイズを小さくしてみる。 １層目 ２層目 ３層目 ４層目 セット数 ２０⇒１０ ２０⇒１０ ５００⇒１００ １０ フィルタ 5x5 5x5 - - 活性化関数 ReLU ReLU ReLU SoftMax 入力 28x28x8Bit (白黒) 内部変数型 S2.6 (-2.0～1.984375) 出力 各8Bit 15分くらいに改善 → チューニング時にとりあえず小さくするのは効果アリ
- 41. Solution2
- 43. Layer4だけを高位合成する
- 44. とりあえず高位合成してみる Layer4が比較的簡単そうだったので、まずはここから。 セット数は目標仕様の設定(L3=500,L4=10) これをベースにチューニングをしていく 合成は ３分弱
- 45. 入出力をバラす 入出力はデフォルトなのでデータ幅=8Bitのメモリになっている 出力は１０個バラにする →HLS_ARRAY_PARTITION complete その他は32Bit幅のメモリに変更する →HLS_ARRAY_RESHAPE cyclic factor=4 原因不明の死…blockにすると通る…とりあえずblockで続けることに。。。 Layer4() weight bias [31:0] [31:0] [7:0] [7:0] in [31:0] Array reshapingさん、突如StackDumpをキメる
- 53. ロード部チューニング結果
- 55. 今回のまとめ
- 56. 成功したこと ● なんとなく高位合成できた ○ C++でクラスやテンプレートを使ったコードでも大丈夫だった ○ ディレクティブなしでとりあえず合成できた ● テンプレート使用しても合成できた ○ 一時的に規模を小さくすることで合成時間を短縮できるので、素早いチューニングができる ● 細かいチューニング ○ ソースコードは弄らず、ディレクティブのみなら複数の Solutionをプロジェクトで持てる ○ 関数単位でチューニングしていくのが良さそう ○ 良い合成結果を出すためにはソースコードの修正が必要
- 57. 失敗したこと ● 現実的な合成結果には到達せず ○ ディレクティブなしの結果は基本クソ（ FPGAの演算に求めるのは並列実行） ○ 畳み込み演算（Layer1,2)は現実的な合成結果にするにはソースコードの根本改善が必要 ○ ディレクティブ設定しても落ちたり帰ってこなかったりで大変 ● 今回のクラス構造は失敗 ○ 派生クラスから基底クラスへ細やかなディレクティブ指示ができない（気がする） ● ベタでフラットに関数を並べたようなコードが結局チューニングしやすい ○ C/C++で書くけど変に抽象化や汎用化するとチューニングできない ● ポインタをもっと活用しないとダメ ○ Layer4のパラメータは内部ブロックで持てる量だったが、 Layer2は絶対無理 ○ Layer間のデータ受け渡しが無駄に発生するコードになってしまった ● ディープラーニングできなかった ○ もっと勉強します…
- 58. というわけで… ● 性能のいいもの（動くもの）を高位合成で作るのは大変 ● 高位合成は得手不得手がかなりある ● 高位合成するコードはハード屋がゼロから作ろう ● VivadoHLSはまだバグる
- 59. Appendix