![ハード/ソフトの自動分割
I2C Bus A
groupBy
averag
e
averag
e
0x1234 0x5678
データフローグラフ
def initialize()
i2c_stream = Stream.new(I2C_BUS_A)
sensors = i2c_stream.group_by(2)
{ |d| d. sensor_ id }
for sensor in sensors do
@averages[sensor] =sensor.average(5)
end
end
def main()
for average in @averages do
p average[sensor].get_latest()
end
wait_ms(100)
end
ソフトウェア部ハードウェア部
sensors[A] Sensors[B]
averages[B]averages[A]
i2c_stream
Rxで書きにくい部分は
多く場合ソフト実行が速い
Rx記述⇒ハード それ以外⇒ソフト
ハード化
メモリに
マップ
2018/03/10](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-37-320.jpg)
![result
コーディング例
2018/03/10
buffer = input.sliding_buffer(5)
line = buffer.map(){ |data|
mats = Array.new()
for i in (0…SIZE) do
mats.push(Matrix[data[0][i, 5], ¥
data[1][i, 5], ¥
data[2][i, 5], ¥
data[3][i, 5], ¥
data[4][i, 5]])
end
result_row = Array.new()
mats.map() do |mat|
result_row.push(mat.conv(kernel))
end
}
result = line.buffer(128)
input
sliding_
buffer
map
buffer
5行ぶん待つ
5行毎に処理（畳み込み）
128行出力待つ](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-46-320.jpg)
![コーディング例
2018/03/10
buffer = input.sliding_buffer(5)
line = buffer.map(){ |data|
mats = Array.new()
for i in (0…SIZE) {
mats.push(Matrix[data[0][i, 5], ¥
data[1][i, 5], ¥
data[2][i, 5], ¥
data[3][i, 5], ¥
data[4][i, 5]])
}
result_row = Array.new()
mats.map() { |mat|
result_row.push(mat.conv(kernel))
}
}
result = line.buffer(128)](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-47-320.jpg)
![ラムダ抽象をメタプロ的に扱う
2018/03/10
buffer = input.sliding_buffer(5)
line = buffer.map(){ |data|
mats = Array.new()
for i in (0…SIZE) {
mats.push(Matrix[data[0][i, 5], ¥
data[1][i, 5], ¥
data[2][i, 5], ¥
data[3][i, 5], ¥
data[4][i, 5]])
}
result_row = Array.new()
mats.map() { |mat|
result_row.push(mat.conv(kernel))
}
}
result = line.buffer(128)
data
mats
Array, Matrixは
オーバーロード
されている](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-48-320.jpg)
![ラムダ抽象をメタプロ的に扱う
2018/03/10
buffer = input.sliding_buffer(5)
line = buffer.map(){ |data|
mats = Array.new()
for i in (0…SIZE) {
mats.push(Matrix[data[0][i, 5], ¥
data[1][i, 5], ¥
data[2][i, 5], ¥
data[3][i, 5], ¥
data[4][i, 5]])
}
result_row = Array.new()
mats.map() { |mat|
result_row.push(mat.conv(kernel))
}
}
result = line.buffer(128)
data
mats
mat
kernel
result_
row
(convolution)](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-49-320.jpg)
![ソフト/ハード自動連携
• 現状はかなり素朴な実装
• 共有メモリでデータ共有のみ
2018/03/10
I2C Bus A
groupBy
averag
e
averag
e
0x1234 0x5678
データフローグラフ
sensors[A] Sensors[B]
averages[B]averages[A]
i2c_stream
ハード化
メモリに
マップ
ユーザアプリ(Ruby)
Ruby拡張
(C言語)
Debian
OS管理
メモリ
OS管理外
メモリ
メモリアクセス機構
Ruby
ライブラリ
Mulvery合成回路
外部I/O
Processing
System
Programmable
Logic](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-55-320.jpg)
![透過性の高い記述
2018/03/10
def func(data)
…
end
stream_1 = Stream.new()
grouped_stream_1 = stream_1.group_by{|d| func(d)}
array_1 = [1, 2, 3, 4, 5, 6]
grouped_array_1 = array_1.group_by{|d| func(d)}
非Stream：
CPUで実行
Stream：
FPGAで実行
データに近い場所で処理が行われる
透過性の高い記述](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-59-320.jpg)
![透過性の高い記述の例２
2018/03/10
i2c_stream = Stream.new(I2C_BUS_A)
sensors = i2c_stream.group_by(2)
{ |d| d. sensor_ id }
averages = sensors.map{ |key, val|
[key, sensor.average(5)]
}.to_h()
I2C Bus A
i2c_stream
groupBy
average average
sensors[A] Sensors[B]
averages[B]averages[A]
同じメソッドが「ソフトウェア記述」
「ハードウェア記述」「generator文」の３役を果たす
⇒ハードにもソフトにもならないmap](https://image.slidesharecdn.com/presentation0310-180310044950/85/Mulvery-Ruby-02-60-320.jpg)
Mulvery@沖縄Ruby会議02
- 2. 自己紹介 まるさ（照屋大地） 2017年度未踏事業 クリエータ 東京農工大学 工学府 情報工学専攻 M1 Rubyを始めたのは1年前 ＿人人人人＿ ＞ 1年前 ＜ ￣Y^Y^Y￣ 2018/03/10
- 4. アジェンダ 1. Mulveryの概要ときっかけ 2. ReactiveXとハード合成のアイデア 3. 未踏での開発 • ハード合成の仕組みの試行錯誤 • ラムダ抽象の合成 • Schedulerの合成 • ソフト/ハードの連携 4. 余談 5. さいごに 2018/03/10
- 6. FPGA Internet 2017/7/1 6 内部の論理回路を自由に 組み換え可能なチップ 「処理のハードウェア化」 ネットワークに 接続したい きっかけ：IoTデバイス開発の課題センサデバイス
- 12. set_directive_pipeline “Interface::get_data /get_data_loop0” 高位合成とその複雑さ • 高位合成(High Level Synthesis, HLS) CやJava等の高級言語を，ハードウェア記述言語(HDL) によるレジスタ転送レベル(RTL)設計に変換する技術 ビヘイビア 記述 （高級言語） 最適化 指示の記述 (専用命令) 高位合成系 RTL設計 （HDL） シミュレータ による評価 FPGA 課題2 「動作記述≠構造記述」 →HW技術者による最適化が必要 2018/03/10
- 17. PythonでFPGAを便利に使うヤツ 2018/03/10 • ハードウェアをAPI的にPythonから呼び出せる • SDK＋ハードウェア • ハードは専門家が作る • DeepLearningや リアルタイム画像処理 で遊べる こういうの Rubyにもほしい！
- 19. Mulveryのアプローチ 2018/03/10 Reactive Programmin (RP) 「データストリーム」をオブジェクトとして扱う プログラミングパラダイム Reactive Programmingを用いたプログラムからの合成 Web開発 Web開発 Android開発 今回は Rxを使ったコードを 速くする
- 20. ReactiveXとは • Observer Pattern … • LINQ ………………… • Scheduler …………… 2018/03/10 次の3つの要素を組み合わせて データフローを記述してプログラムを作る 非同期の実現 操作クエリの実装 スケジューリング
- 21. Reactive Programmingの例 2018/03/10 time map( event becomes 1 ) 1 1 1 1 1 2 3 4 scan(+) Source map scan ・データの到着回数を数える例： Data Flow Events Observable
- 22. Observer Pattern • Publish/Subscribeとも • ObserverがSubjectを観察する • RxではSubject=Observable 2018/03/10 ライブラリ側 ユーザ実装 イベントを 配信 イベントを 購読
- 23. Observer PatternとHW合成アイデア 2018/03/10 class Pin < SubjectBase <pin_watcherの定義> def notify(event) @observers.each do |o| o.onNotify(event) end end def genHardware <genHardwareの定義> ... Observer1 ハードウェア Observer2 ハードウェア … pin_watcher ハードウェア Pin pin_0 pin_0.addObserver do |e| <Observer1の定義> end pin_0.addObserver do |e| <Observer2の定義> end
- 24. LINQ • Language-INtegrated Query • データ列（DBとか）を操作するための標準クエリ 2018/03/10
- 25. LINQ • Language-INtegrated Query • データ列（DBとか）を操作するための標準クエリ 2018/03/10 ラムダ抽象の内容を各イベントに適用 図：Rxのページより
- 26. LINQ • Language-INtegrated Query • データ列（DBとか）を操作するための標準クエリ 2018/03/10 イベントをバッファして１つのイベントにする 図：Rxのページより
- 27. LINQ • Language-INtegrated Query • データ列（DBとか）を操作するための標準クエリ 2018/03/10 2つのデータフローを待ち合わせる 図：Rxのページより
- 28. LINQ • Language-INtegrated Query • データ列（DBとか）を操作するための標準クエリ 2018/03/10 一定時間後にイベントを発生させる 図：Rxのページより
- 29. LINQ on Reactive Extensions 2018/03/10
- 30. LINQとHW合成アイデア 2018/03/10 time map( event becomes 1 ) 1 1 1 1 1 2 3 4 scan(+) Source map HW scan HW ・データの到着回数を数える例（再掲） 各HWは HDLのテンプレート から合成 Events Observable
- 31. Scheduler • 動作スレッドを制御するための仕組み • たとえばTimerだと・・・ 2018/03/10 o1 = Observable.timer(1) do p “this is o1” end o2 = Observable.timer(1) do p “this is o2” end Current Thread Local Thread Local Thread this is o1 this is o2 timer(len, scheduler=DefaultScheduler) 使い方に応じてschedulerを変える
- 32. Scheduler 2018/03/10 m_th = LocalScheduler.new o1 = Observable.timer(1, m_th) do p “this is o1” end o2 = Observable.timer(1, m_th) do p “this is o2” end Current Thread Local Thread this is o1 this is o2 • 同一スレッドで時間計測させる例 SchedulerBaseを使って 任意の戦略が実装可能
- 33. SchedulerとHW合成アイデア 2018/03/10 Current Thread Local Thread this is o1 this is o2 • 動的スケジューリングを制限すれば そのままデータフローグラフとして扱えそう Source o1 HW o2 HW Current Thread HW
- 35. 実装しなければならないもの 1. HW抽出機構 2. HW合成機構 3. ラムダ抽象の合成 4. Schedulerの合成 5. ソフト/ハード連携 2018/03/10
- 37. ハード/ソフトの自動分割 I2C Bus A groupBy averag e averag e 0x1234 0x5678 データフローグラフ def initialize() i2c_stream = Stream.new(I2C_BUS_A) sensors = i2c_stream.group_by(2) { |d| d. sensor_ id } for sensor in sensors do @averages[sensor] =sensor.average(5) end end def main() for average in @averages do p average[sensor].get_latest() end wait_ms(100) end ソフトウェア部ハードウェア部 sensors[A] Sensors[B] averages[B]averages[A] i2c_stream Rxで書きにくい部分は 多く場合ソフト実行が速い Rx記述⇒ハード それ以外⇒ソフト ハード化 メモリに マップ 2018/03/10
- 38. ハードウェア合成の例 2018/03/10 events = Stream.new(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } Streamオブジェクトが ハードウェアを生成する
- 39. ハードウェア合成の例 2018/03/10 events = Stream.new(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } module S_0(p0); … endmodule Streamオブジェクトが ハードウェアを生成する S_0.v
- 40. ハードウェア合成の例 2018/03/10 events = Stream.new(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } module S_0(p0); … Map_0 map_0( .din(w_0_0), .v_din(v_w_0_0), .dout(w_0_1), .v_dout(v_w_0_1)); endmodule module Map_0(…); … dout <= 8’d1; v_din <= 1’b1; … endmodule Streamオブジェクトが ハードウェアを生成する Map_0.vS_0.v テンプレート から生成
- 41. ハードウェア合成の例 2018/03/10 events = Stream.new(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } module S_0(p0); … Map_0 map_0( .din(w_0_0), .v_din(v_w_0_0), .dout(w_0_1), .v_dout(v_w_0_1)); Scan_0 scan_0( … endmodule module Map_0(…); … dout <= 8’d1; v_din <= 1’b1; … endmodule Streamオブジェクトが ハードウェアを生成する module Scan_0(…); … endmodule Scan_0.v Map_0.vS_0.v
- 42. ハードウェア合成の例 2018/03/10 events = Stream.new(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } module S_0(p0); … Map_0 map_0( .din(w_0_0), .v_din(v_w_0_0), .dout(w_0_1), .v_dout(v_w_0_1)); Scan_0 scan_0( … endmodule module Map_0(…); … dout <= 8’d1; v_din <= 1’b1; … endmodule Streamオブジェクトが ハードウェアを生成する module Scan_0(…); … endmodule Scan_0.v Map_0.vS_0.v 他にも・・・ ・Topモジュール ・計算カーネル etc…
- 43. 実装しなければならないもの 1. HW抽出機構 2. HW合成機構 3. ラムダ抽象の合成 4. Schedulerの合成 5. ソフト/ハード連携 2018/03/10 ✔ ✔
- 45. サンプル：畳み込み演算 • 128x128の画像に対するラプラシアンフィルタ適用 2018/03/10 ∗ = … 128画素 （1行） … … … … … 入力バッファ 5行バッファ 畳み込みx128 … 128画素 （1行）
- 46. result コーディング例 2018/03/10 buffer = input.sliding_buffer(5) line = buffer.map(){ |data| mats = Array.new() for i in (0…SIZE) do mats.push(Matrix[data[0][i, 5], ¥ data[1][i, 5], ¥ data[2][i, 5], ¥ data[3][i, 5], ¥ data[4][i, 5]]) end result_row = Array.new() mats.map() do |mat| result_row.push(mat.conv(kernel)) end } result = line.buffer(128) input sliding_ buffer map buffer 5行ぶん待つ 5行毎に処理（畳み込み） 128行出力待つ
- 47. コーディング例 2018/03/10 buffer = input.sliding_buffer(5) line = buffer.map(){ |data| mats = Array.new() for i in (0…SIZE) { mats.push(Matrix[data[0][i, 5], ¥ data[1][i, 5], ¥ data[2][i, 5], ¥ data[3][i, 5], ¥ data[4][i, 5]]) } result_row = Array.new() mats.map() { |mat| result_row.push(mat.conv(kernel)) } } result = line.buffer(128)
- 48. ラムダ抽象をメタプロ的に扱う 2018/03/10 buffer = input.sliding_buffer(5) line = buffer.map(){ |data| mats = Array.new() for i in (0…SIZE) { mats.push(Matrix[data[0][i, 5], ¥ data[1][i, 5], ¥ data[2][i, 5], ¥ data[3][i, 5], ¥ data[4][i, 5]]) } result_row = Array.new() mats.map() { |mat| result_row.push(mat.conv(kernel)) } } result = line.buffer(128) data mats Array, Matrixは オーバーロード されている
- 49. ラムダ抽象をメタプロ的に扱う 2018/03/10 buffer = input.sliding_buffer(5) line = buffer.map(){ |data| mats = Array.new() for i in (0…SIZE) { mats.push(Matrix[data[0][i, 5], ¥ data[1][i, 5], ¥ data[2][i, 5], ¥ data[3][i, 5], ¥ data[4][i, 5]]) } result_row = Array.new() mats.map() { |mat| result_row.push(mat.conv(kernel)) } } result = line.buffer(128) data mats mat kernel result_ row (convolution)
- 50. IF文のハードウェア化 2018/03/10 line = buffer.map(){ |data| check(data == 0) { do_something_1() } .elsewhen(data == 1) { do_something_2() } .otherwise { do_something_3() } .endcheck } check CheckContext#elsewhen CheckContext#otherwise CheckContext#endcheck ハード合成時：すべて評価 ソフト実行時：IFとおなじ
- 51. 実装しなければならないもの 1. HW抽出機構 2. HW合成機構 3. ラムダ抽象の合成 4. Schedulerの合成 5. ソフト/ハード連携 2018/03/10 ✔ ✔ ✔
- 52. LocalThread_0 Schedulerの合成 2018/03/10 Current Thread Local Thread this is o1 this is o2 • Thread毎にステートマシンを持つ • CurrentThreadは必ず生成する o1 HW o2 HW CurrentThread Current Thread HW
- 53. Schedulerの合成の問題 • 複数のThreadを同時にキックしたい場合 （未解決） 2018/03/10 o1 = Observable.timer(1) do p “this is o1” end o2 = Observable.timer(1) do p “this is o2” end Current Thread Local Thread Local Thread this is o1 this is o2 違うstateで キックしてしまう (1億分の2～3秒のズレ)
- 54. 実装しなければならないもの 1. HW抽出機構 2. HW合成機構 3. ラムダ抽象の合成 4. Schedulerの合成 5. ソフト/ハード連携 2018/03/10 ✔ ✔ ✔ ✔
- 55. ソフト/ハード自動連携 • 現状はかなり素朴な実装 • 共有メモリでデータ共有のみ 2018/03/10 I2C Bus A groupBy averag e averag e 0x1234 0x5678 データフローグラフ sensors[A] Sensors[B] averages[B]averages[A] i2c_stream ハード化 メモリに マップ ユーザアプリ(Ruby) Ruby拡張 (C言語) Debian OS管理 メモリ OS管理外 メモリ メモリアクセス機構 Ruby ライブラリ Mulvery合成回路 外部I/O Processing System Programmable Logic
- 56. 実装しなければならないもの 1. HW抽出機構 2. HW合成機構 3. ラムダ抽象の合成 4. Schedulerの合成 5. ソフト/ハード連携 2018/03/10 ✔ ✔ ✔ ✔ ✔
- 58. これまでのハードウェアオフロード 2018/03/10 __kernel void func( __global int *data){ ... } ・オフロードする関数を指定する必要 ・オフロードした関数はFPGA上で実行 Intel FPGA SDK for OpenCL
- 59. 透過性の高い記述 2018/03/10 def func(data) … end stream_1 = Stream.new() grouped_stream_1 = stream_1.group_by{|d| func(d)} array_1 = [1, 2, 3, 4, 5, 6] grouped_array_1 = array_1.group_by{|d| func(d)} 非Stream： CPUで実行 Stream： FPGAで実行 データに近い場所で処理が行われる 透過性の高い記述
- 60. 透過性の高い記述の例２ 2018/03/10 i2c_stream = Stream.new(I2C_BUS_A) sensors = i2c_stream.group_by(2) { |d| d. sensor_ id } averages = sensors.map{ |key, val| [key, sensor.average(5)] }.to_h() I2C Bus A i2c_stream groupBy average average sensors[A] Sensors[B] averages[B]averages[A] 同じメソッドが「ソフトウェア記述」 「ハードウェア記述」「generator文」の３役を果たす ⇒ハードにもソフトにもならないmap
- 63. 余談 2018/03/10
- 65. なぜRubyなのか Rubyの方が色々やりやすかった！ events = Stream.from_pin(MIO::p0) t = events.map(lambda event: 1) count = t.scan(lambda acc, x: acc + x) VS Python ・Method chainがしにくい ・ラムダ抽象が使いにくい ⇒イマイチ・・・ events = Stream.from_pin(MIO::p0) count = events .map(){ |event| 1 } .scan(){ |acc, x| acc + x } Ruby ・Method chainできる ・ラムダ抽象をブロックで ⇒かっこいい！ 2018/03/10
- 66. 自動テストの話 • RSpec+自作テスタ on Travis CI 2018/03/10 RSpecを用いた 各メソッド単体テスト Makefileを使って テストハードの合成 Icarus Verilogで テストハードの動作検証 Vivadoでテストハードの 配置配線が通るかテスト on 自宅サーバ
- 67. さいごに 2018/03/10
- 69. 2018/03/10
- 70. 2018/03/10