20131113_mysql_on_分散fsセミナー資料
6 likes1,737 views
2013年11月に開催されたdb tech showcaseでのMySQLon分散FSセミナーの資料です
20131113_mysql_on_分散fsセミナー資料
- 1. MySQL on 分散FS 〜NOSQLで構築したファイルシステム上でMySQLを動かす Kobe Digital Labo, Inc. 岩瀬 高博 Twitter: @okuyamaoo Mail: iwase@kdl.co.jp http://okuyama-project.com/
- 2. 自己紹介 ・岩瀬 高博(@okuyamaoo) > (株) 神戸デジタル・ラボ所属 業務及び活動 >大規模e-コマースサイトのチューニング、運用 >分散処理、データベースの研究及び適応 >(独)情報通信研究機構 特別研究員 研究領域:大規模Webアーカイブ >分散KVS okuyama、CEP Setsuna の開発 >OSS、Java、DB、車が好き
- 4. ファイルシステムとは？
- 5. ファイルシステム? ・そもそもファイルシステムとは？ ・内蔵のHDDやSSD、外付けディスク、ネットワーク上の ストレージ(NFS等)などの記憶デバイスを等価的に扱う仕組み。 Wikipediaより
- 13. NOSQLファイルシステム
- 17. NOSQLの特性 ・KVSは1つのデータの取り出しが高速 ・これは先ほどのSSDの良いところに似てませんか？ そこで、okuyamaを記憶装置として利用できる ファイルシステムを作ってみました
- 18. okuyamaとは？
- 21. okuyamaとは？ ・どのような機能をもっているか？ 分散KVS ・OSS ・完全冗長化（SPOFなし） ・無停止でのスケールアウト ・100台以上のサーバ規模での 稼働実績 ストレージ特性 ・非永続型 or 永続型(WALログ方式) ・メモリ or ディスク or メモリ+ディスク 特性別ストレージ ・ストレージ間の互換性 ・仮想メモリ機能 ・独自圧縮機能 ・パーティション機能 アクセス ・独自プロトコル(Ascii) Java、PHP、Ruby用が存在 ・memcached互換 ・CAS、加減算、Multi系も対応 ・バックアップ等のクライアントも有り ・Hadoop連携 データ構造 ・Key-Value構造 ・Tagの付与 ・有効期限付きデータ ・全文検索用Index
- 22. okuyamaとは？ ・どのような機能をもっているか？ 分散構成を作ることが可能 分散KVS ・OSS ・完全冗長化（SPOFなし） ・無停止でのスケールアウト ・100台以上のサーバ規模での 稼働実績 ストレージ特性 ・非永続型 or 永続型(WALログ方式) ・メモリ or ディスク or メモリ+ディスク 特性別ストレージ ・ストレージ間の互換性 ・仮想メモリ機能 ・独自圧縮機能 ・パーティション機能 アクセス ・独自プロトコル(Ascii) Java、PHP、Ruby用が存在 ・memcached互換 ・CAS、加減算、Multi系も対応 ・バックアップ等のクライアントも有り ・Hadoop連携 データ構造 ・Key-Value構造 ・Tagの付与 ・有効期限付きデータ ・全文検索用Index
- 25. MySQLを動かす
- 28. ・MySQLでの性能測定
- 29. テスト内容 ・テスト環境 MySQL稼働環境 ・CentOS6.4(64bit) ・MySQL5.5 > InnoDB >O_DIRECTオプション利用 ・Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz ✕ 2 ※物理6Core 仮想 12コア ✕ 2 ・メモリ64GB ・SATA-7200rpm ✕1 / SSD(Intel DC S3700 Series) ✕ 1
- 30. テスト内容 ・テスト環境 okuyama稼働環境(3台) ・CentOS6.4(64bit) ・Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz ✕ 2 ※物理6Core 仮想 12コア ✕ 2 ・メモリ64GB ・SATA-7200rpm ✕1 これら全てインテル株式会社様、 クリエーションライン株式会社様に 検証用としてご提供頂きました!!
- 32. サーバ構成 MySQL on SATA/SSD MySQL on okuyamaFuse ローカルディスクを見ない
- 34. 考察 ・結果から実際にokuyamaFuseをデバッグ IOを全てロギング特性を見る 14:38:28.619: read:/mysqldata/ibdata1 offset:109363200 buf.limit:16384 1行がMySQLからのI/O 14:38:28.627: read:/mysqldata/ibdata1 offset:102596608 buf.limit:16384 14:38:28.633: read:/mysqldata/ibdata1 offset:139051008 buf.limit:16384 14:38:28.634: read:/mysqldata/ibdata1 offset:107429888 buf.limit:16384 14:38:28.639: read:/mysqldata/ibdata1 offset:168738816 buf.limit:16384 14:38:28.648: read:/mysqldata/ibdata1 offset:168755200 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117489664 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117522432 buf.limit:16384 14:38:28.658: read:/mysqldata/ibdata1 offset:117506048 buf.limit:16384 14:38:28.661: read:/mysqldata/ibdata1 offset:137396224 buf.limit:16384 14:38:28.668: read:/mysqldata/ibdata1 offset:126484480 buf.limit:16384 14:38:28.669: write path:/mysqldata/ib_logfile0 offset:3025920 isWritepage:false buf.limit:1024 14:38:28.676: write path:/mysqldata/ib_logfile0 offset:3026944 isWritepage:false buf.limit:1024 14:38:28.677: fsync 14:38:28.724: read:/mysqldata/ibdata1 offset:144719872 buf.limit:16384 14:38:28.725: read:/mysqldata/ibdata1 offset:160104448 buf.limit:16384 14:38:28.732: read:/mysqldata/ibdata1 offset:143097856 buf.limit:16384 14:38:28.736: write path:/mysqldata/ib_logfile0 offset:3029504 isWritepage:false buf.limit:1536 14:38:28.743: write path:/mysqldata/ib_logfile0 offset:3031040 isWritepage:false buf.limit:512 14:38:28.744: fsync
- 35. 考察 ・結果から実際にokuyamaFuseをデバッグ 14:38:28.619: read:/mysqldata/ibdata1 offset:109363200 buf.limit:16384 14:38:28.627: read:/mysqldata/ibdata1 offset:102596608 buf.limit:16384 Readが圧倒的に多い 14:38:28.633: read:/mysqldata/ibdata1 offset:139051008 buf.limit:16384 14:38:28.634: read:/mysqldata/ibdata1 offset:107429888 buf.limit:16384 14:38:28.639: read:/mysqldata/ibdata1 offset:168738816 buf.limit:16384 offsetがバラバラ 14:38:28.648: read:/mysqldata/ibdata1 offset:168755200 buf.limit:16384 ※offsetは読み込み開始位置 14:38:28.653: read:/mysqldata/ibdata1 offset:117489664 buf.limit:16384 14:38:28.653: read:/mysqldata/ibdata1 offset:117522432 buf.limit:16384 14:38:28.658: read:/mysqldata/ibdata1 offset:117506048 buf.limit:16384 14:38:28.661: read:/mysqldata/ibdata1 offset:137396224 buf.limit:16384 14:38:28.668: read:/mysqldata/ibdata1 offset:126484480 buf.limit:16384 14:38:28.669: write path:/mysqldata/ib_logfile0 offset:3025920 isWritepage:false buf.limit:1024 14:38:28.676: write path:/mysqldata/ib_logfile0 offset:3026944 isWritepage:false buf.limit:1024 14:38:28.677: fsync 14:38:28.724: read:/mysqldata/ibdata1 offset:144719872 buf.limit:16384 14:38:28.725: read:/mysqldata/ibdata1 offset:160104448 buf.limit:16384 14:38:28.732: read:/mysqldata/ibdata1 offset:143097856 buf.limit:16384 14:38:28.736: write path:/mysqldata/ib_logfile0 offset:3029504 isWritepage:false buf.limit:1536 14:38:28.743: write path:/mysqldata/ib_logfile0 offset:3031040 isWritepage:false buf.limit:512 14:38:28.744: fsync 14:38:28.769: read:/mysqldata/ibdata1 offset:134873088 buf.limit:16384 14:38:28.772: read:/mysqldata/ibdata1 offset:103497728 buf.limit:16384
- 39. Thank you!