SQL＋NoSQL!? それならMySQL Clusterでしょ。
- 2. 日本MySQLユーザ会とは • 日本でのMySQLの普及、ユーザ間のコミュニ ケーションを図るための会 • 現在の主な活動は ML での意見交換 – 時々、コミュニティイベントやオフ会も開催 • MySQL に興味がある方はどなたでも入会可 能。会費も無し。退会も自由。
- 3. 日本MySQLユーザ会とは • 略称はMyNA(MySQL Nippon Association) • ホームページ http://www.mysql.gr.jp/ • 入会申請 http://www.mysql.gr.jp/ml.html
- 5. NoSQLに求められるもの スケーラビリティ パフォーマンス 高可用性 使いやすさ 高可用性 アプリケーションレベルのシャーディ ング不要 パフォーマンス 高可用性 使いやすさ シンプルな操作/管理 シンプルなAPI 素早く変化するアプリケーションへの 対応(スキーマの変更、など)
- 6. RDBMSとNoSQLの役割？ NoSQL RDBMS シンプルなアクセス・パターン 結合を含む複雑なクエリー パフォーマンスのために 一貫性を犠牲に ACID トランザクション 特別なデータ形式 定義されたスキーマ • あらゆる要件を満たす 単一のソリューションはない • 組み合わせて最適化する スケーラビリティ パフォーマンス 高可用性 使いやすさ SQL/結合 シンプルな操作 豊富なツール ACID トランザクション
- 7. そこで、MySQL Cluster！！ • MySQL Clusterは、元々はSQLを使わない データベースだった • その後、MySQLと統合されSQLも使えるよう になった (NoSQL(KVS)とSQLの両方が使えるデータ ベースになった)
- 8. MySQL Clusterとは？ • MySQLとは開発ツリーの異なる別製品 • 共有ディスクを使わずに、アクティブ-アクティブのクラスタ 構成が組める 向いているシステム • 高可用性が求められるシステム • 同時多発的に大量のトランザクションが発生するシステム • 読込み処理だけでなく、書込み処理に対しても拡張性が 求められるシステム
- 9. MySQL Cluster: Overview 読込み/書込み処理 に対する高い拡張性 99.999% の高可用性 リアルタイム SQL + NoSQL 低い TCO • 自動シャーディング、マルチマスター • ACID 準拠のトランザクション, OLTP + Real-Time Analytics • シェアードナッシング、単一障害点無し • 自動修復 + オンラインオペレーション • インメモリデータベース + ディスクデータ • 非常に低いレイテンシ、短いアクセス時間 • Key/Value + SQL の柔軟性 • SQL + Memcached + JavaScript + Java + JPA + HTTP/REST & C++ • オープンソース + 商用版 • コモディディハードウェア + 充実した管理ツール、監視ツール
- 10. Who’s Using MySQL Cluster?
- 11. MySQL Clusterの使用事例 • 携帯電話ネットワーク HLR / HSS 位置情報 の更新 プリペイ& ポストペイ課金 認証, 追跡接続 サービス, 課金 • 大量の書き込みトランザクション • 3ms未満のデータベースレスポンス • 停止時間 & トランザクション消失 = ビジネスの損失 課金, 認証, VLR MySQL Cluster in Action: http://bit.ly/oRI5tF
- 12. MySQL Clusterの使用事例 • 導入事例: 航空機管制システム • 米国海軍航空母艦 • 包括的航空機運用管制システム • • • • メンテナンス記録 燃料搭載量管理 気象状況 飛行甲板管理 • システム要件 • 単一障害点無し • 完全な冗長性 • 小さなフットプリント & 過酷な利用環境 での利用 • 4台のMySQL Clusterノード Linux およびWindows
- 13. MySQL Clusterの使用事例 CUSTOMER PERSPECTIVE PAYPAL OVERVIEW • Processed $145bn in transactions (CY2012) • 前年比成長率22%、1億23百万アカウント、190マーケット 課題/機会 • グローバル単位での不正検知システム構築 • ユーザセッション、トランザクション追跡のリアルタイム処理 DATABASEに求められた要件 • 100TB のデータ & 1億ユーザ に対応可能 • ACID 準拠のトランザクション • 書込まれたデータを1秒以内に全世界のどこからでも確認可能 • ユーザのトランザクション履歴をリアルタイムで分析可能 • クラウド環境における、高い性能拡張性と99.999%の高可用性 http://www.mysql.com/customers/view/?id=1223 "Technologies such as MySQL Cluster enables users to get the best of both world’s…the agility of NoSQL systems with the trust, maturity and reliability of the SQL model " Daniel Austin, Chief Architect, PayPal 課題解決策 • MySQL Cluster 7.2 with Geo-Replication • AWS 結果 • 設計目標より3倍速いパフォーマンス • 40TB のデータをCluster間で同期 • 5つのAWS リージョンにMySQL Clusterを構築 • Self-healing
- 14. MySQL Cluster Active-Active型データベースクラスタ＆ トランザクション対応キーバリューストア スケーラビリティ JPA REST アプリケーション・ノード パフォーマンス 高可用性 ノード 1 F1 F3 ノード 3 F2 F4 F3 F1 ノード 4 管理 ノード ノード・グループ 2 ノード 2 ノード・グループ 1 F4 F2 データ・ノード a 使いやすさ 管理 ノード SQL/結合 a ACID トランザクション a
- 15. MySQL Cluster 7.2 ベンチマーク結果 Millions of UPDATEs per Second 非常に高いスケーラビリティ 25 20 15 10 5 0 2 4 6 8 10 12 14 16 18 20 22 24 26 MySQL Cluster Data Nodes 1分間に12億回の書込み(UPDATE) - 30x Intel Xeon E5-2670, NoSQL C++ API, flexAsynch benchmark 28 30
- 16. 計画的メンテナンスへの対応 オンライン作業 • クラスタのスケール (オンラインでノードの追加と削除) • • • • • テーブルの再パーティショニング サーバーおよびOSのアップグレード / パッチ適用 MySQL Clusterのアップグレード / パッチ適用 バックアップ スキーマをオンラインでリアルタイムに展開
- 17. レプリケーションの柔軟性 Cluster 1 InnoDB Synchronous replication Asynchronous replication Cluster 2 InnoDB InnoDB • NoSQL経由の処理もレプリケーション 可能 • Cluster ノードグループ間の同期 レプリケーションによる高可用性 • 遠隔地Clusterへの双方向非同期レプ リケーションによる地理的冗長性 • 非Clusterデータベースへの非同期レ プリケーション 例：レポート作成 • 要件に応じた最適なレプリケーション メソッド
- 18. NoSQL Access to MySQL Cluster data Apps Apps Apps Apps Apps Apps Apps Apps Apps Apps Apps JPA ClusterJPA PHP PERL Python Ruby ClusterJ MySQL JS Apache Memcached JNI JDBC Node.js mod-ndb ndb-eng NDB API (C++) MySQL Cluster Data Nodes Apps
- 19. Cluster & Memcached 設定済みスキーマ key value <town:maidenhead,SL6> Application view prefix SQL view key value <town:maidenhead,SL6> Prefix Table Key-col Val-col policy town ... code ... town: addrs town code cluster maidenhead ... SL6 ... Container Table http://clusterdb.com/u/memcached addrs Table
- 20. MySQL Cluster 7.3 : Node.js NoSQL API • ネイディブJAVAスクリプトから MySQL Clusterへアクセス Clients V8 JavaScript Engine MySQL Cluster Node.js Module MySQL Cluster Data Nodes – JavaScript オブジェクトから、直接 MySQL Clusterへアクセス – SQLの変換をバイパス • Node.js用のモジュールとして実装 – Webアプリケーションの中に、Cluster API ライブラリを統合
- 21. SQLとNoSQL それぞれのベストを採用 SQL と NoSQLの組み合わせ クライアント ネイティブ Node.js memcached HTTP/REST NDB API 様々な 組み合わせ データ・ノード • SQL: 複雑なリレーショナル・クエリ • HTTP / memcached: キー・バリュー型Webサービス • Java: エンタープライズ・アプリケーション • NDB API: リアルタイム・サービス • Node.js: 非同期処理 JDBC / ODBC PHP / PERL Python / Ruby
- 22. MySQL Clusterであれば、 SQLとNoSQLのいいとこどりが可能 スケーラビリティ a パフォーマンス a 高可用性 a 使いやすさ a SQL/結合 a ACID トランザクション a
- 23. MySQL Cluster Manager 低コストでより柔軟性をもった 高可用性データベース環境を構築&管理可能に 管理作業 の自動化 監視 & リカバリ 無停止 メンテナンス
- 24. MySQL Cluster Managerとは? 例: MySQL Cluster 7.0 から 7.2へのアップグレード MySQL Cluster Manager 導入前 • • • • • • • • • 1 x クラスタの事前状態チェック 8 x ssh コマンド/サーバー 8 x 停止コマンド/プロセス 4 x 構成ファイルの転送 - scp (2 x mgmd & 2 x mysqld) 8 x プロセスごとの開始コマンド 8 x 開始または再参加プロセスの確認 8 x 完了確認処理 1 x クラスタ全体の完了確認 各構成ファイルの手動による編集を除く 合計: 46 コマンド2.5 時間の作業 MySQL Cluster Manager では upgrade cluster --package=7.2 mycluster; 合計: 1 コマンド 完全自動処理 • 結果 – データベース・クラスタ管理の負荷 および複雑さを削減 – 管理エラーによるダウンタイムの リスクを排除 – クラスタ管理のベストプラクティス を自動化
- 25. New!! 外部キー Connection Thread Scalability MySQL 5.6との統合 Auto-Installer NoSQL API ： JavaScript for node.js
- 26. MySQL Cluster 7.3 Connection Thread Scalability データノードへのコネクショ ンのスループット向上 mutexの分割により、スループット が向上 設定をより簡単に MySQL Cluster Data Nodes スケーラビリティの向上 With Connection Thread Scalability 最大ノード数は256ノードまで 接続毎に7.5倍の性能向上 MySQL Cluster Data Nodes SQL & NoSQL の両方において
- 27. MySQL Cluster 7.3 • 大幅に性能を向上 8.5x DBT2 Benchmark Single MySQL Server Single Data Node 128 client connections
- 28. MySQL Cluster 7.3 MySQL 5.6 との統合 アプリケーションに合わせて、スト レージ エンジンを選択可能 – InnoDB: Large Rows, DSS Queries, FTS – MySQL Cluster: Auto-sharding, real-time, InnoDB Local InnoDB Tables HA 最新の MySQL 5.6 を使用可能 – Optimizer の改善 MySQL Cluster NDB Storage Engine – クラッシュセーフのスレーブ – レプリケーション チェックサム – バイナリログサイズの削減 – 遅延レプリケーション
- 29. MySQL 5.6: オプティマイザ サブクエリの高速化 LIMIT句で少数のレコードを取得する際のファイル・ソートを 最適化 - 4倍高速化 - 40秒から10秒に短縮 インデックス条件のプッシュダウン - 160倍高速化 - 15秒から90ミリ秒に短縮 FROMからのビュー／サブクエリの実データ取得を遅延 - EXPLAINが240倍高速化 - 8分から2秒に短縮 バッチ・キー・アクセスと複数範囲の読み取り - 280倍高速化 - 2800秒から10秒に短縮 オプティマイザの統計情報の永続化
- 30. MySQL Cluster 7.3 GA: 外部キ― • MySQL Clusterの適用範囲がより広範囲に – パッケージアプリケーション、カスタムプロジェクト • 複雑さを軽減しつつ、強力な機能を追加 – アプリケーションロジック & データモデル • デフォルトで使用可能 • SQL&NoSQLの両方で 使用可能 • オンラインで追加/削除可能
- 31. MySQL Cluster 7.3: Auto-Installer • • • • • 素早く設定可能 リソースを自動検出 ワークロードに合わせた最適化 再現可能なベストプラクティス MySQL Cluster 7.2 + 7.3 で 使用可能 Specify Workload AutoDiscover Deploy Define Topology
- 32. MySQL Cluster 7.3: Auto-Installer • 以下の資料で、Auto-Installerの使い方を解説して います。 – 5分で作るMySQL Cluster環境 http://www.slideshare.net/yoyamasaki/5mysql-cluster
- 33. まとめ • MySQL Clusterであれば、SQLとNoSQLの いいとこどりが可能 • 最新版(7.3)では、MySQL 5.6とも統合され、 性能もより向上している • 特に、以下のシステムに向いている – 高可用性が求められるシステム – 同時多発的に大量のトランザクションが発生するシステム – 読込み処理だけでなく、書込み処理に対しても拡張性が 求められるシステム
- 34. MySQL Cluster のお勧め書籍 • ”漢のコンピュータ道”で有名な奥野さんの 書籍です。MySQL Clusterのノウハウが ぎっしり詰まった1冊です。 (http://gihyo.jp/book/にて、電子書籍版もあります)