MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19
14 likes5,100 views
MapRとVertica、なぜその組み合わせが最高なのか、実際にPOC、ベンチマークを担当する両社のエンジニアがその熱い思いをデモを交えながら解説します。MapRとVerticaを組み合わせて構築された事例を含め、HadoopとRDBMSが今どのように共存しているのか、また今後どのような形が最適なのかをエンジニアの視点から語ります。2014年6月18〜20日に開催されたdb tech showcase 大阪 2014での講演資料です。
MapR と Vertica エンジニアが語る、なぜその組み合わせが最高なのか？ - db tech showcase 大阪 2014 2014/06/19
- 1. ® © 2014 MapR Technologies 1 ® © 2014 MapR Technologies 草薙 昭彦 (MapR Technologies) 相澤 恵奏 (⽇日本HP) MapR と Vertica エンジニアが語る、 なぜその組み合わせが最⾼高なのか？
- 2. ® © 2014 MapR Technologies 2 本⽇日のトピック • Vertica: 超⾼高速列列指向データベース • Vertica + Hadoop • MapR: エンタープライズ Hadoop • Vertica on MapR • デモ
- 3. ® © 2014 MapR Technologies 3© 2014 MapR Technologies ® Vertica: 超⾼高速列列指向データベース
- 4. ® © 2014 MapR Technologies 4 • 分析⽤用 DB ソフトウェアベンダー • 設⽴立立：2005年年 • 本社：⽶米国 マサチューセッツ州 • Michael Stonebraker が産みの親 Postgres, C-Store の開発者 • 注⽬目ベンチャーとして数々の賞を受賞 • 2011/3/22 HP が買収完了了を発表 • 2012/12/1 HP に統合完了了 POSTGRES Object DB C-store Column- oriented DB 1970 1980 2000 2010 技術継承 INGRES RDBMS Sybase SQL Server Aster Data Greenplum Netezza マイケル・ストーンブレーカー （Michael Stonebraker) Vertica HP Vertica 概要
- 5. ® © 2014 MapR Technologies 5 DWH アプライアンス DWHアプライアンス IBM Netezza Teradata Oracle Exadata etc OLTP 向け RDBMS OLTP向けRDBMS Oracle DB MySQL Postgres etc カラム指向型 データベース ソフトウェア 超⾼高速、低価格、簡単に使える、すぐ使える ■低価格 ・コモディティーハードウェア ・ソフトウェア提供 ■列列指向 ■超並列列アーキテクチャ 遅い ⾼高い 第三世代の分析⽤用RDBMS
- 6. ® © 2014 MapR Technologies 6 Vertica 事例例 (WWで2500社以上）
- 7. ® © 2014 MapR Technologies 7 いいね！ http://www.vertica.com/2013/12/12/welcoming-facebook-to-the-growing-family-of-hp-vertica-customers/
- 8. ® © 2014 MapR Technologies 8© 2014 MapR Technologies ® Vertica + Hadoop
- 9. ® © 2014 MapR Technologies 9 競合？ ⇒ 共存 分散 分析 SQLコモディティーサーバ スケールアウト 並列列 ビッグデータ Vertica と Hadoop
- 10. ® © 2014 MapR Technologies 10 Social media IT/OT ImagesAudioVideo Transactional dataMobile Search engineEmail Texts Documents SQLや、R⾔言語やC++、Javaで作成した UserDefineFunction で⾼高速に分析 HDFS Connectorで データの取り込み HCatalog を読み込ませて、 SQL を直接実⾏行行 Hadoop コネクタ MR にて操作 ⾮非、半構造化データ含め とにかく Hadoop にデータ蓄積 とにかくデータを蓄積して、超⾼高速分析は Vertica で！
- 11. ® © 2014 MapR Technologies 11 • 性能および拡張性が乏しく、4ヶ⽉月しか分析対象に出来なかった • 複数かつ複雑な処理理による分析の再実⾏行行、機会損失 • システムが安定せずデータトラブルにより4⽇日間使⽤用不不能 • 15ヶ⽉月分のクリックストリームデータ、5年年の購買データを 分析し、ページレベルの詳細な分析が可能に • ⾮非構造化データは Hadoop 経由で Vertica に格納 • ODBC 経由の分析ツールを使⽤用 • MPP アークテクチャーによる拡張性 • クエリーは置き換える前に⽐比べ50倍以上⾼高速化 • 6ヶ⽉月分データ13TByteが1.4Tbyteに圧縮 課題・⽬目的バックグラウンド ビジネスベネフィット • 年年間約3兆円の、PC、プリンターの オンラインビジネス • その、ビジネスを⽀支えるために、 ⾼高速な分析ソリューションが必要 HP のオンラインビジネス分析基盤を Vertica で再構築
- 12. ® © 2014 MapR Technologies 12 Vertica が提供するコネクター コネクターは経由の アクセスは、なんだか な・・・・ Hadoop コマンドって 覚えにくい Map/Reduce 書けないなー Vertica⽤用のサーバは あるけど、Hadoop 専 ⽤用に別途、買えない Hadoop 上で SQL 動かしたい 簡単にデータ連携 したいな 今までの Vertica と Hadoop
- 13. ® © 2014 MapR Technologies 13 そうだ！ MapR があるじゃないか！ 悩める RDBMS エンジニア +
- 14. ® © 2014 MapR Technologies 14© 2014 MapR Technologies ® MapR: エンタープライズ Hadoop
- 15. ® © 2014 MapR Technologies 15 ナンバーワン 500 を超える顧客クラウドリーダー MapR: エンタープライズ Hadoop
- 16. ® © 2014 MapR Technologies 16 Hadoop ディストリビューション Open Source Open Source ディストリビューション A ディストリビューション C 運⽤用管理理ツール Open Source 運⽤用管理理ツール アーキテクチャーの イノベーション
- 17. ® © 2014 MapR Technologies 17 HDFS (ライトワンス／追記のみ／同時Read/Write不不可) MapR Distribution for Apache Hadoop セキュリティ YARN Pig Cascading Spark バッチ Spark Streaming Storm* ストリーミング HBase Solr NoSQL ・検索索 Juju プロビジョニ ング・コーディ ネーション Savannah* Mahout MLLib 機械学習 ・グラフ GraphX MapReduce v1 & v2 APACHE HADOOP および OSS エコシステム 実⾏行行エンジン データガバナンス・オペレーション ワークフロー ・データ ガバナンス Tez* Accumulo* Hive Impala Shark Drill* SQL Sentry* Oozie ZooKeeperSqoop Knox* WhirrFalcon*Flume データ 統合・ア クセス HttpFS Hue * ディストリビューションに統合／認証予定
- 18. ® © 2014 MapR Technologies 18 MapR Distribution for Apache Hadoop セキュリティ YARN Pig Cascading Spark バッチ Spark Streaming Storm* ストリーミング HBase Solr NoSQL ・検索索 Juju プロビジョニ ング・コーディ ネーション Savannah* Mahout MLLib 機械学習 ・グラフ GraphX MapReduce v1 & v2 APACHE HADOOP および OSS エコシステム 実⾏行行エンジン データガバナンス・オペレーション ワークフロー ・データ ガバナンス Tez* Accumulo* Hive Impala Shark Drill* SQL Sentry* Oozie ZooKeeperSqoop Knox* WhirrFalcon*Flume データ 統合・ア クセス HttpFS Hue MapR Data Platform (ランダムRead/Write) MapR-FS (POSIX) MapR-DB (ハイパフォーマンス NoSQL) NFS HDFS API HBase API JSON API データハブ エンタープライズ グレード 業務オペレーション MapRControlSystem (運⽤用管理理・監視) CLI GUI REST API * ディストリビューションに統合／認証予定
- 19. ® © 2014 MapR Technologies 19 Hadoop ディストリビューションの⽐比較 ソース: Flux7 Labs Study, 2013年年10⽉月 Read/Write スループットベンチマーク DFSIO Read スループット DFSIO Write スループット MB/秒 MB/秒
- 20. ® © 2014 MapR Technologies 20© 2014 MapR Technologies ® Vertica on MapR
- 21. ® © 2014 MapR Technologies 21 MapR Direct NFS Access MapR ファイルシステム HDFS インターフェース MapReduce アプリケーション Hadoop 専⽤用ツール・専⽤用コネクタ NFS インター フェース あらゆるデータソース NFS インター フェース あらゆるデータシンク
- 22. ® © 2014 MapR Technologies 22 Vertica と MapR の統合 これまで Vertica on MapR ノード ノード ノード ノード ノード ノード ノード HDFS MapReduceVertica ノード ノード MapR ファイルシステム MapReduce Vertica 専⽤用コネクタを介したネットワーク越しの転送 NFSインターフェース
- 23. ® © 2014 MapR Technologies 23 Vertica on MapR のメリット • ハードウェアを共有できる！ – ハードウェアの利利⽤用率率率を上げて、全体の台数を減らす – Hadoop のデータ領領域と Vertica のデータ領領域を融通できる • データ転送が⾼高速で楽！ – NFS 経由なので、Hadoop ということを意識識しない • データストレージの信頼性が向上 – MapR ファイルシステムのレプリケーションで障害復復旧が早い – スナップショットやミラーリングが使える
- 24. ® © 2014 MapR Technologies 24 利利⽤用例例1: ⼤大量量のデータを⾼高いコスト効率率率で処理理 MapR ファイルシステム Vertica ⽤用データ領領域 Vertica 実⾏行行エンジンMapReduce 実⾏行行エンジン ⾼高速SQLクエリ処理理外部表アクセス柔軟なバッチ処理理 必要な時に素早く Vertica にデータを展開 不不要になったらファイルシステムにアーカイブ スキーマレスデータ スキーマデータ
- 25. ® © 2014 MapR Technologies 25 利利⽤用例例2: 時間帯による使い分け MapR ファイルシステム Vertica 実⾏行行エンジン MapReduce 実⾏行行エンジン MapReduce ジョブ SQL クエリ MapR ファイルシステム Vertica 実⾏行行エンジン MapReduce 実⾏行行エンジン MapReduce ジョブ SQL クエリ 昼間 多数のユーザーによるアドホッククエリ 夜間 ⽇日締めの⼤大規模バッチ
- 26. ® © 2014 MapR Technologies 26© 2014 MapR Technologies ® デモ
- 27. ® © 2014 MapR Technologies 27 デモ環境 • アルミアタッシュケース ポータブル Hadoop クラスタ （⼿手作り！） – Intel core i3 NUC マシン 3台 – メモリ16GB／SSD 128GB – Gigabit Ethernet + Wifi – 13.3 インチ LCD – ワイヤレスキーボード・パッド – MapR 3.1.1／Vertica 7.0 • ご興味ある⽅方、レシピ教えます – Do it yourself
- 28. ® © 2014 MapR Technologies 28 ls Hadoop 標準コマンド デモ MapR NFS Vertica on MapR MapR ファイルシステム Vertica 実⾏行行エンジン MapReduce 実⾏行行エンジン MapReduce ジョブ SQL クエリ MapR ファイルシステム cp mv grep cat vi diff rsync du find wc cd gzip tar tail iconv chown
- 29. ® © 2014 MapR Technologies 29 おわりに • Vertica と MapR は MPP データベースと Hadoop のベストな組 み合わせ • 柔軟でスケーラブル、変化に強いデータプラットフォームを構 築できます • お試し⽤用 VM イメージ（Sandbox）をダウンロードできます – Vertica Marketplace https://vertica.hpwsportal.com/#/Product/%7B%22productId%22%3A %221029%22%7D/Show
- 30. ® © 2014 MapR Technologies 30 Q & A @mapr_japan maprjapan sales-jp@mapr.com お問い合わせはこちらまで MapR maprtech mapr-technologies