【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
4 likes1,582 views
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
- 1. Slightly Ahead!! of the competition Copyright by Nissho Electronics サーバ環境が進化する 今話題のPCIe SSDを評価してみた！ （MySQL編） 日商エレクトロニクス株式会社 マーケティング本部 SODCグループ 1
- 2. Slightly Ahead!! of the competition Copyright by Nissho Electronics 前回までのあらすじ 2 FIOを使って性能評価を実施。 • 【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた http://www.slideshare.net/NisshoLab/pcie-ssd-iops Huawei ES3000は他社のPCIe SSDと比較しても 良さげなパフォーマンスが出た。 • シーケンシャルリードで2~4倍、ランダムリードで1.5~6倍 • シーケンシャルライトで2~5倍、ランダムライトで1.5~2.8倍 DBなど、ディスク負荷があるようなアプリに 効果があるかも。 今回はアプリ視点での評価をしてみます。
- 3. Slightly Ahead!! of the competition Copyright by Nissho Electronics いきなりCM 3
- 4. Slightly Ahead!! of the competition Copyright by Nissho Electronics 今回評価で使用したPCIe SSDは？ 4 Huawei ES3000 高性能かつ高信頼性のPCIe SSD 5つの容量モデル : 600GB, 800GB, 1.2TB, 2.4TB, 3.2TB ホームファクタ Half-Height/Half-Length Full-Height/Half-Length PCIe 2.0 x8 規格に対応 MLC Flash Chip採用
- 5. Slightly Ahead!! of the competition Copyright by Nissho Electronics Huawei ES3000とは？ 速くて、信頼でき、運用し易い PCIe SSDらしい。 5 高性能 高信頼性 FPGAコントローラ搭載：ホスト側の処理負荷を軽減 DDR3メモリ・キャッシュ搭載：FPGAあたり1GB ダブルスケジューリング：Write処理とGC処理を並列処理 ECCによるデータ保護＋Dynamic RAID-5 EngineでFlash Chip障害にも対応 データスクラビングにて不良ブロックを自動的にリプレース 大容量キャパシタにより突発的な電源断時のキャッシュデータ消失を防止 運用管理 ログ機能によるデバイスのヘルス状況管理 ポーリング/トラップ監視可能なSNMPをサポート 書込み限度/不良ブロック管理などを実現する管理機能実装
- 6. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価されたお客様の声 B社さま（オンラインゲーム等の企画・開発・運営企業） 6 まるでシャア専用ですね。 C社さま（インターネット総合サービス企業） コストパフォーマンスの高さに驚きました。 D社さま（ECサイト運営会社） ベンチマークが他社製品より2～3倍程高速。
- 7. Slightly Ahead!! of the competition Copyright by Nissho Electronics CMおわり 7
- 8. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（作り方） 8 MySQLのsysbench煮込み 作り方 １．サーバにPCIe SSD（※）を取り付けOSをインストールします。 ２．MySQLをインストールし、必要に応じてパラメータを変更します。 ３．sysbenchを使用し、パフォーマンスを測定します。 オプションは要件に応じて変えましょう。 ※ES3000のドライバとファームウェアは下記URLから入手します。 http://support.huawei.com/enterprise/softdownload?pid=9241725&idAbsPath=fixnode01|7919749|9856522|9856788|9241725&f astLocation=fastLocation#idAbsPath=fixnode01%7C7919749%7C9856522%7C9856788%7C9241725&ot=clk&pid=9241725&t=9 64&type=402-00023809
- 9. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（材料） 9 材料 数量 ポイント １．サーバ Huawei社製RH2288 H v2 メモリ ：64GB HDD ：300GB×2 OS ：CentOS 6.4 DB : MySQL 5.6 ２．クライアント Huawei社製RH2288 Hv2 メモリ ：64GB HDD ：300GB×１ OS ：CentOS 6.4 負荷ツール：Sysbench 0.5 ３．Huawei ES3000 (1.2TB) ４．F社製PCIe SSD (1.2TB) １ １ １ １ ・電源供給量に気を付けましょう。 ・詳細は前回の資料を参照（※） ・PCIe SSDは発熱しやすいので、 十分なエアフローを確保しましょう。 （300LFM以上）。 ・スケールファクタ テーブル数 = 10 テーブル毎のレコード件数 =50,000,000 DBサイズ（ページサイズ16K）=120GB DBサイズ（ページサイズ4K） = 140GB ・MySQLコンフィグ innodb_buffer_pool_size = 16MB, 128MB, 10GB, 32GBで評価 innodb_page_size = 16KB（for HDD） innodb_page_size = 4KB（for SSD）,etc… ※【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた http://www.slideshare.net/NisshoLab/pcie-ssd-iops
- 10. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（出来上がり①） 25,000 20,000 15,000 10,000 5,000 0 パラメータ 変更前 比較 RealOnly InnoDB Buffer Pool Size 32G （具体的なデータは補足資料を参照ください。） 10 3,000 2,500 2,000 1,500 1,000 500 0 1 8 16 32 64 128 256 512 Response Time(ms) TPS ユーザー数 HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT
- 11. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（結果①） ◆ MySQL パラメータ設定 (ReadOnly) ◆ innodb_flush_log_at_trx_commit = 2 (*) innodb_io_capacity = 100000 (*) innodb_io_capacity_max = 100000 (*) innodb_write_io_threads = 12 (*) innodb_read_io_threads = 12 (*) innodb_buffer_pool_instances = 8 innodb_flush_method = O_DIRECT (*) innodb_flush_neighbors = 0 (*) innodb_doublewrite = 1 innodb_page_size = 4K (*) innodb_lru_scan_depth = 100000 (*) innodb_thread_concurrency = 0 innodb_adaptive_flushing = 1 performance_schema = ON max_connections = 521 MySQLパラメータ変更無し （ReadOnlyの場合） 最大でHDDの40倍近いTPS 値が出ていました。 PCIe SSDの違いによる多少 のパフォーマンスの違いは ありましたが、いずれの 場合でも極端な性能の差は 確認できませんでした。 (*) ： パフォーマンス向上用に変更したパラメータ （具体的なデータは補足資料を参照ください。） 11
- 12. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（出来上がり②） 25,000 20,000 15,000 10,000 5,000 0 パラメータ 変更前 比較 ReadWrite InnoDB Buffer Pool Size 32G （具体的なデータは補足資料を参照ください。） 12 3,000 2,500 2,000 1,500 1,000 500 0 1 8 16 32 64 128 256 512 Response Time(ms) TPS ユーザー数 HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT
- 13. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（結果②） ◆ MySQL パラメータ設定 (ReadWrite) ◆ innodb_flush_log_at_trx_commit = 2 (*) innodb_io_capacity = 100000 (*) innodb_io_capacity_max = 100000 (*) innodb_write_io_threads = 12 (*) innodb_read_io_threads = 12 (*) innodb_buffer_pool_instances = 8 innodb_flush_method = O_DIRECT (*) innodb_flush_neighbors = 0 (*) innodb_doublewrite = 1 innodb_page_size = 4K (*) innodb_lru_scan_depth = 100000 (*) innodb_thread_concurrency = 0 innodb_adaptive_flushing = 1 performance_schema = ON max_connections = 521 MySQLパラメータ変更無し （ReadWriteの場合） 最大でHDDの60倍を超え るTPS値が出ていました。 接続ユーザ数の違いで Huawei ES3000の方が 1.5倍程良いTPS値が確認 される場合がありました。 (*) ： パフォーマンス向上用に変更したパラメータ （具体的なデータは補足資料を参照ください。） 13
- 14. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（出来上がり③） 25,000 20,000 15,000 10,000 5,000 0 パラメータ 変更後 比較 ReadOnly InnoDB Buffer Pool Size 32G （具体的なデータは補足資料を参照ください。） 14 3,000 2,500 2,000 1,500 1,000 500 0 1 8 16 32 64 128 256 512 Response Time(ms) TPS ユーザー数 HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT
- 15. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（結果③） ◆ MySQL パラメータ設定 (ReadOnly) ◆ innodb_flush_log_at_trx_commit = 0 (*) innodb_io_capacity = 200000 (*) innodb_io_capacity_max = 800000 (*) innodb_write_io_threads = 4 (*) innodb_read_io_threads = 64 (*) innodb_buffer_pool_instances = 24 (*) innodb_flush_method = O_DIRECT innodb_flush_neighbors = 0 innodb_doublewrite = 1 innodb_page_size = 4K innodb_lru_scan_depth = 100000 innodb_thread_concurrency = 0 innodb_adaptive_flushing = 1 performance_schema = OFF (*) max_connections = 521 MySQLパラメータ変更有り （Read Onlyの場合） ±5%以内の違いで それほど極端な性能変化は 確認できませんでした。 (*) ： パフォーマンス向上用に変更したパラメータ （具体的なデータは補足資料を参照ください。） 15
- 16. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（出来上がり④） 25,000 20,000 15,000 10,000 5,000 0 パラメータ 変更後 比較 ReadWrite InnoDB Buffer Pool Size 32G （具体的なデータは補足資料を参照ください。） 16 3,000 2,500 2,000 1,500 1,000 500 0 1 8 16 32 64 128 256 512 Response Time(ms) TPS ユーザー数 HDD TPS F社製 PCIe SSD TPS Huawei社 ES3000 TPS HDD RT F社製 PCIe SSD RT Huawei社 ES3000 RT
- 17. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価してみました（結果④） ◆ MySQL パラメータ設定 (ReadWrite) ◆ innodb_flush_log_at_trx_commit = 0 (*) innodb_io_capacity = 200000 (*) innodb_io_capacity_max = 800000 (*) innodb_write_io_threads = 4 (*) innodb_read_io_threads = 24 (*) innodb_buffer_pool_instances = 24 (*) innodb_flush_method = O_DIRECT innodb_flush_neighbors = 0 innodb_doublewrite = 1 innodb_page_size = 4K innodb_lru_scan_depth = 100000 innodb_thread_concurrency = 0 innodb_adaptive_flushing = 1 performance_schema = OFF (*) max_connections = 521 MySQLパラメータ変更有り （ReadWriteの場合） Huawei ES3000で最大 10%程度のTPS値の向上。 F社製 PCIe SSDで最大 25%のTPS値の向上。 (*) ： パフォーマンス向上用に変更したパラメータ （具体的なデータは補足資料を参照ください。） 17
- 18. Slightly Ahead!! of the competition Copyright by Nissho Electronics 考察 18 チューニングをしない状態でも HDDと比較し30倍～60倍の性能向上。 チューニングをしてもあまり変化が 見られなかった点に関しては継続調査。 PCIe SSDを利用することでMySQLの パフォーマンス向上が確認できたので、 他のDBでも性能が向上すると思われる。 Oracle ORION編につづく・・・
- 19. Slightly Ahead!! of the competition Copyright by Nissho Electronics 最後に・・・ 19 Huawei ES3000情報 • 製品情報はこちらから http://www.nissho-ele.co.jp/product/huawei/es3000/index.html • ホワイトペーパーはこちらから http://www.nissho-ele.co.jp/product/huawei/download.html • IOPS編はこちらから http://www.slideshare.net/NisshoLab/pcie-ssd-iops
- 20. Slightly Ahead!! of the competition Copyright by Nissho Electronics 補足資料 20
- 21. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価結果 －パラメータ 変更前 比較 ReadOnly 32G－ 21 ユーザー 数 TPS HDD TPS FIO TPS ES3000 95% HDD 95% FIO 95% ES3000 CPU 使用率 HDD CPU 使用率 FIO CPU 使用率 ES3000 ES3000 vs FIO 1 12.80 107.06 93.49 96.59 10.13 11.77 1 2 1 87.32% 8 40.75 696.33 837.23 295.02 15.15 10.73 1 10 9 120.23% 16 53.95 1,258.70 1,461.97 465.55 16.49 12.64 1 20 18 116.15% 32 66.11 1,944.24 2,251.01 771.86 19.48 16.75 1 31 32 115.78% 64 72.93 2,549.74 2,721.10 1,290.09 30.84 30.88 1 42 39 106.72% 128 88.80 2,712.56 2,832.43 2,320.35 63.51 64.12 1 43 43 104.42% 256 85.46 2,728.48 2,853.12 5,711.20 118.36 117.76 1 44 46 104.57% 512 90.78 2,695.92 2,855.09 12,318.87 225.41 222.59 1 44 48 105.90%
- 22. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価結果 －パラメータ 変更前 比較 ReadWrite 32G－ 22 ユーザー 数 TPS HDD TPS FIO TPS ES3000 95% HDD 95% FIO 95% ES3000 CPU 使用率 HDD CPU 使用率 FIO CPU 使用率 ES3000 ES3000 vs FIO 1 7.99 90.92 83.09 217.33 11.85 13.33 1 2 2 91.39% 8 19.30 533.53 659.27 722.24 21.85 14.83 1 11 10 123.57% 16 24.83 883.56 1,091.76 1,161.08 31.28 17.74 1 17 19 123.56% 32 30.54 1,246.43 1,687.59 1,885.09 43.47 22.23 1 25 33 135.39% 64 37.73 1,481.98 2,189.15 3,054.18 54.32 33.05 1 31 45 147.72% 128 36.07 1,455.67 2,087.62 6,544.53 111.82 77.38 1 31 43 143.41% 256 48.26 1,430.34 1,888.26 9,960.24 454.81 268.47 1 32 42 132.01% 512 53.09 1,147.44 1,811.61 20,701.09 1,473.03 907.82 1 28 44 157.88%
- 23. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価結果 －パラメータ 変更後 比較 ReadOnly 32G－ 23 ユーザー 数 TPS HDD TPS FIO TPS ES3000 95% HDD 95% FIO 95% ES3000 CPU 使用率 HDD CPU 使用率 FIO CPU 使用率 ES3000 ES3000 vs FIO 1 12.80 109.31 90.38 96.59 90.94 12.28 1 2 1 82.68% 8 40.75 690.79 826.15 295.02 15.29 10.82 1 10 9 119.59% 16 53.95 1,243.90 1,457.62 465.55 16.77 12.59 1 18 17 117.18% 32 66.11 1,933.54 2,248.39 771.86 19.65 16.68 1 28 30 116.28% 64 72.93 2,560.67 2,744.85 1,290.09 30.77 30.28 1 38 37 107.19% 128 88.80 2,747.73 2,770.16 2,320.35 55.70 63.30 1 40 38 100.82% 256 85.46 2,745.71 2,856.97 5,711.20 108.00 121.78 1 41 42 104.05% 512 90.78 2,697.12 2,885.71 12,318.87 226.63 217.78 1 40 44 106.99%
- 24. Slightly Ahead!! of the competition Copyright by Nissho Electronics 評価結果 －パラメータ 変更後 比較 ReadWrite 32G－ 24 ユーザー 数 TPS HDD TPS FIO TPS ES3000 95% HDD 95% FIO 95% ES3000 CPU 使用率 HDD CPU 使用率 FIO CPU 使用率 ES3000 ES3000 vs FIO 1 7.99 93.24 82.35 217.33 11.79 13.30 1 2 1 88.32% 8 19.30 526.17 660.04 722.24 22.61 15.36 1 10 10 125.44% 16 24.83 876.53 1,101.94 1,161.08 32.76 18.68 1 16 18 125.72% 32 30.54 1,208.73 1,659.97 1,885.09 44.51 23.27 1 23 31 137.33% 64 37.73 1,405.06 2,302.82 3,054.18 55.84 33.72 1 27 43 163.89% 128 36.07 1,434.25 2,059.93 6,544.53 97.00 78.12 1 29 41 143.62% 256 48.26 1,467.98 2,055.34 9,960.24 209.16 155.93 1 30 42 140.01% 512 53.09 1,442.86 1,934.95 20,701.09 675.60 589.40 1 30 43 134.11%
- 25. Slightly Ahead!! of the competition Copyright by Nissho Electronics 25