ラプラシアンフィルタをZedBoardで実装(ソフトウェアからハードウェアにオフロード)
- 2. 説明の流れ ラプラシアンフィルタ ZedBoard Zynq カメラ画像表示回路のハードウェア ZedBoard用のLinuxとフレームバッファ ラプラシアンフィルタのソフトウェア実装 ソフトウェアの最適化 Vivado HLSでラプラシアンフィルタ式のみをハードウェア化 Vivado HLSでラプラシアンフィルタ回路全体をハードウェア化 自作AXI Master IPによるラプラシアンフィルタのハードウェア化 再度Vivado HLSでラプラシアンフィルタ回路全体をハードウェア化 まとめ 2
- 3. ラプラシアンフィルタとは？ 画像処理フィルタ 画像のエッジを検出（二次微分フィルタ） 3x3, 5x5 3x3 5x5 画像 3
- 5. ZedBoardとは？ Digilent社のZynq搭載ボード Zynq-7000 AP SoC XC7Z020-CLG484 Dual-core ARM Cortex A9 + FPGA Memory: 512 MB DDR3 256 Mb Quad-SPI Flash 4 GB SD card Onboard USB-JTAG Programming 10/100/1000 Ethernet USB OTG 2.0 and USB-UART PS & PL I/O expansion (FMC, Pmod™, XADC) Multiple displays (1080p HDMI, 12-bit VGA, 128 x 32 OLED) I2S Audio CODEC 5
- 6. ZedBoard用OS (Linuxなど） GitHubのDigilent / linux-digilent https://github.com/Digilent/linux-digilent Ubuntu Android PetaLinux（Xilinx社純正） Yocto Etc… ソフトウェアは不得意なので教えて下さい。。。 6
- 8. Zynq-7000について デュアル・ARMプロセッサ(PS) + FPGA(PL) 28nm HPLプロセス ロジック部分は7シリーズ相当 最大1GHz動作のDual Cortex-A9 ZedBoardのZynq-7020は667MHz PS(Processing System)とPL(Programming Logic)は AXIバスで接続 PS部分にDDRコントローラ、豊富なI/Oペリフェラル FPGAはARMプロセッサのスレーブ ARMプロセッサがブートして、FPGAをコンフィグ FPGA単体ではブート出来ない 8
- 9. Zynq-7000の用途 画像処理 自動車関連 自動運転、自動ブレーキなど 医療機器 CTなど？ カメラ関係 スマートカメラ、放送用カメラ プリンタ複合機 産業用モーター制御 ソフトウェア無線 GPUが無いので、パソコンやAndroidになるのは不向き？ 9
- 10. PSブロック図 Zynq-7000 All Programmable SoC テ ク ニカル リ フ ァ レ ンス マニュ アル UG585 (v1.5) 2013 年 3 月 7 日 P27, 図1-1:Zynq-7000 AP SoC の概要を 引用 10
- 11. PSとPLのインターフェース AXIバスでPSとPLを接続 AXI_HPスレーブ・インターフェース 32ビット幅または64ビット幅のスレーブ4ポート FAXI_MAX 250MHz HPポート、200MHz x 64ビット = 1.6GB/s AXI_GPマスタ＆スレーブ・インターフェース データバス32ビット幅のマスタ、スレーブそれぞれ2ポート AXI_ACPスレーブ・インターフェース 64ビットAXIスレーブ1ポート SCUに接続されて、CPUとPL間でキャッシュ・コヒーレンシを維持 キャッシュに読み書きできるのでCPUとのデータ交換のレイテンシ が短い 11
- 12. これからの話の注意点 ARM+FPGAのZynqデバイス ハードウェアとソフトウェア両方の話 どっちの話をしているかご注意下さい ソフトウェアのスライドは青いタイトル ハードウェアのスライドは赤いタイトル 両方含んでいるスライドのタイトルは黒 12
- 13. ラプラシアンフィルタの話なのだが、まだ先は 長い 必要なハードウェアは？ CMOSカメラをZedBoardに付ける カメラ付けないとリアルタイムに画像が入力できない PmodコネクタにMT9D111を付けた CMOSカメラを表示する回路も ZynqのPLに作った（IP） カメラ画像を表示する回路も ZynqのPLに作った（IP） 13
- 14. カメラ画像表示の概要 Digilent Linux ペンギン2匹をHDMIに表示 ZedBoard_OOB_Design Digilent LinuxのPL内のハードウェア AXI VDMAとHDMI制御回路でディスプレイに表示 オーディオ回路 CMOSカメラ・インターフェース回路 mt9d111_inf_axi_master_0 ディスプレイ表示回路 bitmap_disp_cntrler_axi_master_0 VGA出力とHDMI出力 HDMIは接続無し 14
- 15. ZedBoard_OOB_Design Digilent社のサイトにあるLinux用のデザイン XilinxのXPSというツールを使用している XPS（Xilinx Platform Studio)は、IPをつないで回路を構成す る 15
- 18. CMOSカメラと出力画面 CMOSカメラ（MT9D111、マイクロン社製） 1600ｘ1200ピクセル、15fpsの性能 800x600ピクセル、15fpsで使用（プレビューモード） PMODコネクタ2個に接続 なぜ800x600で使っているのか？（誰にもたぶん話した ことないです。初公開） それは。。。 800x600のサブ・ディスプレイを持っているからです。。。 http://marsee101.web.fc2.com/cmos_image_sensor. html 18
- 19. 使用するOSとフレームバッファ Digilent Linux カメラ用のフレームバッファはどうしよう？ Linux初心者 － フレームバッファを設定できない 他の領域を使うとLinux本体を壊す可能性がある そうだ。Digilent Linuxの標準ではHDの画面にペンギン 2匹のみ表示されているので、余っている部分を使う 表示サイズは800x600なので、それで十分 その下にラプラシアンフィルタの表示領域を確保 19
- 20. HDMI出力画面 20
- 21. VGAポートの画像 21
- 22. フレームバッファを使うために Linuxカーネル調査 ZedBoardのLinuxカーネルコンパイルのテスト UbuntuでDigilent Linuxのコンパイルのテスト － 成功 Digilent Linuxを解析して、フレームバッファのアドレスをアロケート している部分を特定した linux-digilent-master/drivers/gpu/drm/drm_fb_cma_helper.c の drm_fbdev_cma_create() FBのアドレスをprintk()で起動メッセージに表示 SDKでDevice Treeを生成 xilinx.dtsを生成 DTCでDevice Tree をコンパイル xilinx.dts をコンパイルして、xilinx.dtb を生成 ZedBoard用Digilent LinuxのSysfs /sys/devices/axi.0にAXIバスIPのアドレスのディレクトリ Linux起動時（/etc/init.d/rcS）にFBのアドレスを調べる カメラ表示用FBの開始アドレスをファイル（fb_start_addr.txt）に書く カメラ表示用FBの開始アドレスを各IPのアドレス開始番地レジスタに書 く22
- 23. ラプラシアンフィルタをソフトウェアで実装 fb_start_addr.txtを読んでFBの開始アドレスを確認 mmap()を使用して物理アドレスにアクセス ルート権限 （注意）ここからmmap()と言っているのは、mmap()単体では ありません /dev/memをオープン malloc()で、8k-1バイトの領域を確保（ポインタに代入） ページ境界までポインタを進めて、mmap()で物理アドレスを マップ RPi Low-level peripheralsのsetup_io()ルーチンを流用（現 在は変更されている） munmap()で領域を開放 munmap()+ free() で領域を開放 23
- 24. ラプラシアンフィルタの最初の実装（実装1） ラプラシアン・フィルタの値を算出するには3x3の画像のピク セルを使用して、真ん中の1点を演算する オレンジ色の四角の9点を使用して、黄緑色の1点を計算す るのだが、9点のメモリを読みために、それぞれ mmap() して からReadして、munmap() している 9回、 mmap() と munmap() を繰り返す その後、Writeのために mmap() で領域を確保し、そして、 munmap() で領域を 開放している 1画面分で139秒 http://marsee101.blog19.fc2.com/blog-entry-2595.html 24
- 25. ラプラシアンフィルタの2番目の実装（実装２） カメラ画像のRead領域とラプラシアンフィルタ出力Write 領域を４ｋバイトずつmmap() 4kバイトを超えたらmummap()して次の４ｋバイトを mmap() 1行のメモリ量は800ピクセルX4バイト＝3.2kバイト ラプラシアンフィルタは3行分の領域を使用する 1回のラプラシアンフィルタ処理でReadは2回munmap()、 mmap()を実行 Writeは出力アドレスが４ｋバイトを超えたらmunmap()、 mmap() 実行時間39秒 http://marsee101.blog19.fc2.com/blog-entry- 2594.html 25
- 26. ソフトウェアのプロファイリング１ gettimeofday()を入れて時間計測 mmap()、munmap()の回数測定 実装１のmmap(), munmap()数と実行時間 rmmap_cnt = 4294836 wmmap_cnt = 480000 total time = 138 sec 実装２のmmap(), munmap()数と実行時間 rmmap_cnt = 1223626 wmmap_cnt = 469 total time = 37 sec 実装２の方がmmap(), munmap()数が圧倒的に少ない http://marsee101.blog19.fc2.com/blog-entry- 2597.html 26
- 27. ソフトウェアのプロファイリング２ ２つの独立な環境での測定値が取れた mmap()、munmap()の処理時間(x)とそれ以外のラプラ シアンフィルタの処理時間(y)を計算してみた 4774836x + y = 138 ----- 式1 1224095x + y = 37 -----式2 式1と式2を解くと、x = 28.4 usec, y = 2.18 sec が導け た 検算をしてみよう 5,000回のmmap(), munmap() 関連の実際の実行時間 を測定した 29usec ー 計算値とほぼ等しい http://marsee101.blog19.fc2.com/blog-entry- 2597.html 27
- 28. ラプラシアンフィルタのハードウェアの実装 ソフトウェアの最適をする前 にハードウェアの実装につ いて見てみよう １ライン分のラインFIFOを２ つ用意 ３ｘ３のFFを用意して１クロッ クごとに演算する Laplacian_cal_val <= "01000"*(XnYn) - ("00000"&Xnm1Ynm1) - ("00000"&XnYnm1) - ("00000"&Xnp1Ynm1) - ("00000"&Xnm1Yn) - ("00000"&Xnp1Yn) - ("00000"&Xnm1Ynp1) - ("00000"&XnYnp1) - ("00000"&Xnp1Ynp1) ; http://marsee101.blog19.fc 2.com/blog-entry- 1291.html 28
- 29. ソフトウェアの最適化 ARMの1st Dキャッシュは32kバイト 3ライン分の9.6kバイトは入るかも？少なくとも2ndキャッシュ 最初は3ライン分Readして、それを使って1ライン分のラプラ シアンフィルタの処理を行う（ローカル変数を使用して、キャッ シュにPrefetch） 次からは、前の2ラインは使えるので、1ラインだけReadする 結果 処理時間 439msec rmmap_cnt = 469 wmmap_cnt = 469 mmap(), munmap() の処理時間は、469回 x 2 x 28usec ≒ 26.3msec それほど大きい割合では無くなった http://marsee101.blog19.fc2.com/blog-entry-2598.html 29
- 30. ソフトウェアの最適化 （ハードウェアと同じ方式） フレームの最初に2ラインを読む 2つピクセルを保存 1つピクセルを読んで、保存しながら、真ん中のラプラシ アン・フィルタの値を計算していく 処理時間434msec ー 更に5msecほど短縮 conv_rgb2y() 関数で使用しているfloatをintに変換 係数が小数なので、256倍して整数に変換し、結果を 256で割る 処理時間391msec ー 更に45msecほど短縮 http://marsee101.blog19.fc2.com/blog-entry- 2599.html 30
- 31. Vivado HLSについて Xilinx社の純正高位合成ツール C, C++, SystemCをVHDLやVerilog HDLに変換 EDK用のIPやVivado用IPを生成 AXIバスの自動生成機能 AXI Lite Slave IP（レジスタ設定）、AXI Master IP単体でも使 える ソフトウェアからハードウェアにオフロード ラプラシアンフィルタをCコードからVerilog HDLに変換できる のでは？ ラプラシアンフィルタ式のみをハードウェア化 AXI Lite Slaveバス ラプラシアンフィルタ回路全体をハードウェア化 AXI Masterバス 31
- 32. Vivado HLSでラプラシアンフィルタ式のみを ハードウェア化１ // laplacian_filter axi lite slave version #include <stdio.h> int laplacian_filter(int *x0y0, int *x1y0, int *x2y0, int *x0y1, int *x1y1, int *x2y1, int *x0y2, int *x1y2, int *x2y2) { #pragma HLS PIPELINE #pragma HLS INTERFACE ap_hs port=x0y0 #pragma HLS INTERFACE ap_vld port=x1y0 #pragma HLS INTERFACE ap_vld port=x2y0 #pragma HLS INTERFACE ap_vld port=x0y1 #pragma HLS INTERFACE ap_vld port=x1y1 #pragma HLS INTERFACE ap_vld port=x2y1 #pragma HLS INTERFACE ap_vld port=x0y2 #pragma HLS INTERFACE ap_vld port=x1y2 #pragma HLS INTERFACE ap_vld port=x2y2 #pragma HLS RESOURCE variable=x0y0 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x1y0 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x2y0 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x0y1 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x1y1 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x2y1 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x0y2 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x1y2 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=x2y2 core=AXI4LiteS metadata="-bus_bundle BUS_A" #pragma HLS RESOURCE variable=return core=AXI4LiteS metadata="-bus_bundle BUS_A" int y; y = -*x0y0 -*x1y0 -*x2y0 -*x0y1 +8*(*x1y1) -*x2y1 - *x0y2 -*x1y2 -*x2y2; if (y<0) y = 0; else if (y>255) y = 255; return(y); } 32
- 33. Vivado HLSでラプラシアンフィルタ式のみを ハードウェア化２ 前のスライドのCソースをCからHDLに合成 AXI Lite Slaveインターフェースを付加してIP化 IPをXPSプロジェクトにAdd IP 33
- 35. Vivado HLSでラプラシアンフィルタ式のみを ハードウェア化４ ハードウェア化の手順 ラプラシアンフィルタの式のみ演算するAXI Lite Slave IPを XPSプロジェクトに追加（Vivado HLSで生成） ISEで論理合成、インプリメント、ビットストリームの生成 ハードウェアをエクスポートしてSDKを立ち上げる SDKで制御用のソフトウェアを作ってリモートデバック 結果は1.94sec で、ソフトウェアに比べて５倍遅くなった 予想していた、なぜか？ 計算量に比べて、IOの時間が長すぎる バスプロトコルもソフトウェアで生成する http://marsee101.blog19.fc2.com/blog-entry- 2607.html 35
- 36. Vivado HLSでラプラシアンフィルタ式のみを ハードウェア化５ 9個のピクセル・データをWrite vld 信号を1にするレジスタWrite がやはり9回続く ap_done の状態を見るReadが1回 ラプラシアン・フィルタの結果をRead（全部で3.96usec） 36
- 37. Vivado HLSでラプラシアンフィルタ式のみを ハードウェア化６ 1つのラプラシアンフィルタの値を求めるのに必要なIO時 間＋計算時間は3.96usec ラプラシアンフィルタの演算数は 796 X 596 796 X 596 X 3.96usec = 1.88sec ラプラシアンフィルタ処理時間1.94sec のうちの1.88sec がIO＋ハードウェア演算時間 演算だけハードウェア・アクセラレーションするには計算 がIO時間よりも相対的に重くないと旨味がない http://marsee101.blog19.fc2.com/blog-entry- 2609.html 37
- 38. Vivado HLSでラプラシアンフィルタ回路全体を ハードウェア化１ チューニングしてきたラプラシアンフィルタ・ソフトウェアを Vivado HLS用に書き直した（まるごとハードウェア化） mmap(), munmap() は削除 Cソースの概要 memcpy() で画像表示領域からローカル配列にコピー ラプラシアンフィルタの演算 memcpy() でローカル配列からラプラシアンフィルタ表示領域 にコピー 最初は３ライン memcpy() その後からは、前の２ラインは使用して１ラインのみ memcpy() Cソース http://marsee101.blog19.fc2.com/blog-entry-2738.html 38
- 39. Vivado HLSでラプラシアンフィルタ回路全体を ハードウェア化２ ハードウェア化してSDKでソフトウェアを作って実行し見 たが動作せず 後でバグが有ることが分かって、動作はした（微妙） 後でお話します 39
- 40. 自作AXI Master IPによるラプラシアンフィルタ のハードウェア化１ Vivado HLSでラプラシアンフィル タをまるごとハード化したが動作 せず（バグのため） 自分でVerilog HDLを使ってラプ ラシアンフィルタのハード化をする ことにした ハード特有の構造はとらないで、 わざとC言語からHLSで合成した ようにメモリベースで作る http://marsee101.blog19.fc2.co m/blog-entry-2648.html 40
- 41. 自作AXI Master IPによるラプラシアンフィルタ のハードウェア化２ レジスタ設定用のAXI4 Lite Slave モジュール lap_filter_axim_LiteS_if.v はVivado HLSが生成したファイ ルを流用した http://marsee101.blog19.fc2.com/blog-entry-2657.html AXI4 Master IPは自作した http://marsee101.blog19.fc2.com/blog-entry-2645.html http://marsee101.blog19.fc2.com/blog-entry-2646.html http://marsee101.blog19.fc2.com/blog-entry-2647.html lap_filter_axim.v トップファイル line_read_and_y.v HORIZONTAL_PIXELS 分のピクセルデータを start_addr から AXI4 Master Read RGB - Y変換を行い、y_data へ出力する Dual_Port_Memory.v 41
- 42. 自作AXI Master IPによるラプラシアンフィルタ のハードウェア化３（ブロック図） 42 注：AXI Interconnectは図から省いてあります
- 43. 自作AXI Master IPによるラプラシアンフィルタ のハードウェア化４ 一応完成。 一応と付けたのは連続で動かすと動かないから いろいろやることあるし、とりあえず一発動けば良いや 結果 処理時間 23.6msec 最適化したソフトウェア laplacian_filter.elf の実行時間は約 398msec だったので、398 / 23.6 ≒ 16.9倍、高速になった ハードウェア処理のラプラシアン・フィルタ部分のみの経過時 間 10.1msec 60fpsのフレームレートの時間間隔は16.7msec それより短いので完成 http://marsee101.blog19.fc2.com/blog-entry- 2661.html 43
- 44. 再度Vivado HLSでラプラシアンフィルタ回路全 体をハードウェア化１ 匿名希望様にデバックして頂いてバグとVivado HLSのレジ スタアクセスの書き方がわかった もう一度、Vivado HLSでラプラシアンフィルタ全体のIP化に 挑戦 結果 ラプラシアンフィルタの出力画像がソフトウェアと違う ラプラシアンフィルタ関数、RGB-Y変換関数は同じ記述なのになぜ だろうか？ 処理時間は100msec ソフトウェアの約4倍高速だけど、微妙な値 結果のURL http://marsee101.blog19.fc2.com/blog-entry-2737.html ソースのURL http://marsee101.blog19.fc2.com/blog-entry-2738.html 44
- 46. 再度Vivado HLSでラプラシアンフィルタ回路全 体をハードウェア化３ Vivado HLSは pragma で性能を上げられるはずなのだ が、今のところうまく行っていない 46
- 47. まとめ ZedBoardにカメラを付けて、画像をディスプレイに表示 ソフトウェアでラプラシアンフィルタを実装 最適化を行った。最終的に0.39秒で実行 Vivado HLSでラプラシアンフィルタ式のみをAXI Lite Slave IPとして実装したが、ソフトウェアより遅くなった （1.94秒） AXI4 Master IPとしてラプラシアンフィルタ全体をハード ウェアで実装した（0.03秒） Vivado HLSでラプラシアンフィルタ全体をハードウェア 化（0.1秒） この発表のラプラシアンフィルタについての情報 http://marsee101.web.fc2.com/lap_filter_soft2hard.html47
- 48. その後 48 Vivado HLS 2014.１から高位合成したラプラシアンフィルタ の結果が正しくなった http://marsee101.blog19.fc2.com/blog-entry-2800.html Vivado HLSは、AXIバス関連のディレクティブが変更になっ て、このスライドに書いてあるディレクティブではコンパイルで きなくなった Vivado HLSはとても便利に使うことができる Vivado HLSでもCソースコードを最適化すると、15.3msでラ プラシアンフィルタ処理を完了できた（使用したボードは ZYBO） http://marsee101.blog19.fc2.com/blog-entry-3120.html これからは、Vivado HLSで書ける所はなるべく使っていこう と思う 2015/07/23 更新