Running lagopus on Xeon D
0 likes1,425 views
Summarized version of my slides about Xeon D (written in Japanese)
![見えました（Ubuntu 14.04.2LTSにて)
$ ethtool eth0
Settings for eth0:
Supported ports: [ TP ]
Supported link modes: 1000baseT/Full
10000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Advertised link modes: 1000baseT/Full
10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Speed: 10000Mb/s
em0: i350 (GbE)
em1: i350 (GbE)
eth0: X540 (10GbE)
eth1: X540 (10GbE)](https://image.slidesharecdn.com/runninglagopusonxeond-150611015226-lva1-app6892/85/Running-lagopus-on-Xeon-D-13-320.jpg)
![netnsを使って動作確認
1. sudo ip netns exec NET0 iperf -s
2. sudo ip netns exec NET1 iperf -c 172.21.0.1
------------------------------------------------------------
Client connecting to 172.21.0.1, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[ 3] local 172.21.0.2 port 52119 connected with 172.21.0.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 10.9 GBytes 9.40 Gbits/sec](https://image.slidesharecdn.com/runninglagopusonxeond-150611015226-lva1-app6892/85/Running-lagopus-on-Xeon-D-14-320.jpg)
Running lagopus on Xeon D
- 1. Running Lagopus on Xeon D Jun 10, 2015 Masaru OKI @masaru0714
- 2. Xeonとは Intelのワークステーション、サーバー向けCPU ブランドであり、中身は世代によってさまざま 1998年 Pentium II Xeonが最初の製品 現行品のグレードはE3, E5, E7に別れる ● 大雑把に言えばE3がCore i7相当以上 ● E5,E7はコア数増やSMP対応など
- 3. Xeon D ● Xeonブランドでは初のSoC (System on Chip) ● 2015年1Q出荷 ● Broadwellベースでメモリコントローラを内蔵 ● 10GbE MACを2つ内蔵 ● 初期リリースは2モデル、TDPは45W ○ Xeon D-1540 8core 16thread, 2.0GHz ○ Xeon D-1520 4core 8thread, 2.2GHz
- 4. Xeon Dマザーボード ● SUPERMICRO X10SDV-F, X10SDV-TLN4F ○ 他社からもいくつか発表されている ● Mini-ITX, Xeon D-1540オンボード(ファンつき) ● DDR4 ECC/nonECC DIMM x 4(max128GB) ● IPMI対応 ● X10SDV-FはGbE * 2 (SoCの10GbEは未使用) ● X10SDV-TLN4FはGbE * 2 + 10GbE * 2 (copper)
- 5. X10SDV-TLN4F
- 6. OSをインストールしてみる ● USB DVDドライブをつないでそこから入れる ● 今回入れたOSはUbuntu 14.04.2LTS server ○ 10GbEは見えない可能性大なのでGbEを結線 ○ すんなり入った。 ○ GbEはem0, em1 ○ 10GbEは予想通り見えなかった
- 7. Xeon Dの性能はどの程度? ● ループバックインタフェースにiperfする ○ CPU処理速度とメモリアクセスの測定になります ○ 10GbE扱える力があるか確認してみようという趣旨 ● iperf: ネットワークスループットの測定ツール ○ iperf -sを動かすホストとiperf -cの間の計測 ○ 単一あるいは複数セッションをTCP, UDPで計測できる ○ 負荷がかかるのでLANの測定にとどめましょう ○ 今回は同一ホストでiperf -sとiperf -cを動かす
- 9. 性能比較(clockあたりの速度を計算) Broadwell, Haswell, IvyBridgeの順 Xeon D優秀。 Atomはやや落ちる。 AMDは参考値 ● CPU自体古い ● OSがNetBSD ● メモリもDDR2
- 10. iperfによる性能比較（表） メモリはDDR3(例外 Xeon DがDDR4, AMDがDDR2) CPU iperf speed (Gbps) CPU clock(GHz) Gbps/clock Xeon E3-1231v3 63.8 3.4 18.76 Xeon D-1540 39.7 2.0 19.85 Xeon E3-1105Cv2 25.7 1.8 14.27 Atom C2758 13.8 2.4 5.75 Celeron J1900 12.3 2.0 6.15 PhenomII X6 1095T 8.36 3.2 2.61
- 11. SoC内蔵10GbE(10GBaseT)が使えるか? ● Ubuntu 14.04LTSからは見えなかったorz ● 新しいLinux kernelからも見えない ○ 少なくとも、PCI IDが未知と思われる ● Intel DPDKは2015年6月10日時点で未対応 ○ X540ベースだがcopper PHYを扱えない ○ 使う設定で起動させるとエラー終了してしまう
- 12. LinuxのI/Fとして認識させる IntelがLinuxドライバのソースを配布している https://downloadcenter.intel.com/ja/download/24941 利用条件に同意してダウンロード、展開して cd src; sudo make install rmmod ixgbe; modprobe ixgbe
- 13. 見えました（Ubuntu 14.04.2LTSにて) $ ethtool eth0 Settings for eth0: Supported ports: [ TP ] Supported link modes: 1000baseT/Full 10000baseT/Full Supported pause frame use: No Supports auto-negotiation: Yes Advertised link modes: 1000baseT/Full 10000baseT/Full Advertised pause frame use: Symmetric Advertised auto-negotiation: Yes Speed: 10000Mb/s em0: i350 (GbE) em1: i350 (GbE) eth0: X540 (10GbE) eth1: X540 (10GbE)
- 14. netnsを使って動作確認 1. sudo ip netns exec NET0 iperf -s 2. sudo ip netns exec NET1 iperf -c 172.21.0.1 ------------------------------------------------------------ Client connecting to 172.21.0.1, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 3] local 172.21.0.2 port 52119 connected with 172.21.0.1 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 10.9 GBytes 9.40 Gbits/sec
- 15. DPDKでXeon D 10GbEを動かす ● DPDKのドライバ(PMD)はFreeBSDベース ● FreeBSD-CURRENTがXeon D対応している! ○ 2015年5月1日にXeon D対応コードがcommitされた ● コードを持ってきて移植(ほぼパクり)
- 16. 無事認識しました EAL: PCI device 0000:03:00.0 on NUMA socket 0 EAL: probe driver: 8086:15ad rte_ixgbe_pmd EAL: PCI memory mapped at 0x7fffc0000000 EAL: PCI memory mapped at 0x7fffc0200000 PMD: eth_ixgbe_dev_init(): MAC: 7, PHY: 6 PMD: eth_ixgbe_dev_init(): port 0 vendorID=0x8086 deviceID=0x15ad EAL: PCI device 0000:03:00.1 on NUMA socket 0 EAL: probe driver: 8086:15ad rte_ixgbe_pmd EAL: PCI memory mapped at 0x7fffc0204000 EAL: PCI memory mapped at 0x7fffc0404000 PMD: eth_ixgbe_dev_init(): MAC: 7, PHY: 6 PMD: eth_ixgbe_dev_init(): port 1 vendorID=0x8086 deviceID=0x15ad
- 18. Lagopusで10GbEの動作確認 ● OpenFlowソフトウェアスイッチ ○ コントローラと制御通信する ○ コントローラからの指示でパケット送信可能 ○ 受信パケットの処理ルールをコントローラから登録 ● 論理上複数のスイッチを扱える ● 2つのスイッチそれぞれに10GbEを割り当てる ● 2つの10GBaseTポートをケーブルで接続 ● スイッチ間の通信ができるかを確認してみる
- 19. Lagopus動作確認テストの構成 Xeon Dマシン Lagopus（単一プロセス動作） bridge-1 bridge-2 10GbE portid 0 10GbE portid 1DPDK Ryu (OFコントローラ)
- 20. Lagopus実行 $ sudo lagopus -d -- -cff -n2 -- -p3 (中略) NIC RX ports: port 0 (queue 0) port 1 (queue 0) (中略) NIC TX ports: 0 1
- 21. OpenFlowテストを実行 (一部抜粋) action: set_field: 38_TUNNEL_ID ethernet/ipv4/tcp-->'actions=set_field:12345->tunnel_id,goto_table: 1','table_id:1,tunnel_id=12345,actions=output:2' OK ethernet/ipv6/tcp-->'actions=set_field:12345->tunnel_id,goto_table: 1','table_id:1,tunnel_id=12345,actions=output:2' OK ethernet/arp-->'actions=set_field:12345->tunnel_id,goto_table:1','table_id:1, tunnel_id=12345,actions=output:2' OK group: 00_ALL .......... 2Mbps(ethernet/ipv4/tcp)-->'in_port=1,actions=group:all(actions=output: 2/actions=output:3)' OK
- 22. まとめと今後 ● Xeon Dは性能もよく、バランスがいい ● 10GbaseTを動かすにはひと手間掛かる ○ Windowsは添付DVDにドライバが入ってそうでした ● Lagopus+DPDK動きます! ● 今後 ○ 10Gの通信相手が欲しい（もう1台? NIC買う?) ○ 10GBaseTのスイッチはお高いけどちょっと欲しい ○ SoC内蔵10GbEの限界性能を確認したい