ビジネスへの本格活用が始まったHadoopの今 ～MapRが選ばれる理由～ - ビッグデータEXPO東京 2014/02/26
2 likes2,385 views
大手メディア、大手家電等のエンタープライズ企業が採用するMapR Hadoopディストリビューションの特長、事例、ロードマップについてのご紹介。2014年2月26日に開催されたビッグデータEXPO東京 2014での講演資料です。
ビジネスへの本格活用が始まったHadoopの今 ～MapRが選ばれる理由～ - ビッグデータEXPO東京 2014/02/26
- 1. ® ビジネスへの本格活⽤用が 始まった Hadoop の今 〜～MapR が選ばれる理理由〜～ マップアール・テクノロジーズ株式会社 システムエンジニア 草薙 昭彦 2014 年年 2 ⽉月 26 ⽇日 © MapR Technologies ®
- 2. Hadoop による お客様のビジネスの成功 © MapR Technologies ®
- 3. Hadoop ディストリビューション OPEN SOURCE ディストリビューションC ディストリビューションM MANAGEMENT INNOVATIONS ディストリビューションA MANAGEMENT INNOVATIONS OPEN SOURCE OPEN SOURCE INFRASTRUCTURE INNOVATIONS © MapR Technologies ®
- 4. Hadoop ディストリビューション ディストリビューションA ディストリビューションC MANAGEMENT INNOVATIONS OPEN SOURCE OPEN SOURCE MANAGEMENT INNOVATIONS OPEN SOURCE INFRASTRUCTURE INNOVATIONS © MapR Technologies ®
- 6. 課題1: データの移動 「とにかく時間がかかる」 「専⽤用ツール・コネクタの メンテナンスが⼤大変」 業務システム 企業内ユーザー レポーティング ・クエリー RDBからのダンプ ・ファイル転送 ステージング ファイルサーバ 専⽤用ツール による バッチ投⼊入 ETL・整形・集計 ・キューブ作成 専⽤用コネクタ による RDBへの ロード © MapR Technologies 分析システム ®
- 7. MapR NFS ダイレクトアクセス より直近のデータを分析対象に 外部システムが変わっても NFS ならば対応が容易易 業務システム 企業内ユーザー レポーティング ・クエリー NFSによる 直接投⼊入 ETL・整形・集計 ・キューブ作成 NFS経由で RDBネイティブ ローダー利利⽤用 © MapR Technologies 分析システム ®
- 8. HDFS vs MapR FS HDFS MapR FS Hadoop 標準ファイルシステム MapR 最適化ファイルシステム ライトワンス ランダム R/W 同時 R/W アクセス不不可 同時 R/W 可能 (ファイルクローズするまで他から⾒見見えない) (書き込み中のファイルが他から読める) NFS のフル機能と⾼高い性能を提供できるのは アーキテクチャが異異なるから © MapR Technologies ®
- 10. Volume, Snapshot, Mirroring 部⾨門A 部⾨門B 部⾨門C 部⾨門Aボリューム 部⾨門Bボリューム 部⾨門Cボリューム © MapR Technologies ®
- 11. Volume, Snapshot, Mirroring 部⾨門A 部⾨門B 部⾨門C 部⾨門Aボリューム 部⾨門Bボリューム 部⾨門Cボリューム スナップショット スナップショット 部⾨門A ミラーボリューム スナップショット スナップショット 部⾨門B ミラーボリューム 災害対策⽤用リモートクラスタ © MapR Technologies スナップショット スナップショット 部⾨門C ミラーボリューム ®
- 12. HDFS vs MapR FS HDFS Snapshot MapR FS Snapshot ディレクトリ単位、⼀一貫性の ないイメージ (メタデータのみの⼀一貫性) ボリューム単位の ⼀一貫性のあるイメージ HDFS ベースの分散コピー MapR FS Mirroring MapReduce ジョブによる ファイル単位の転送 ネイティブプロセスによる ブロック単位の転送 ⼀一貫性のないイメージ ⼀一貫性のあるイメージ ⼀一貫性のあるスナップショット・ミラーリングを 提供できるのはアーキテクチャが異異なるから © MapR Technologies ®
- 13. 課題3: ⼈人⼿手/コストをかけない運⽤用 クラスタの規模が⼤大きくなってく ると、サーバ台数を数％増やすだけ で年年間数千万円のコスト増に・・・ ハードウェアのコモディティ化が 進んだ今、もっとも貴重でコスト が⾼高いリソースは⼈人。システムの 運⽤用よりもコアビジネスにエンジ ニアを多く割り当てたい・・・ © MapR Technologies ®
- 14. サーバ台数削減による TCO 改善 MB per Second MB per Second Read/Write スループット ベンチマーク DFSIO Read スループット DFSIO Write スループット ソース: Flux7 Labs Study, 2013年年10⽉月 実際の事例例 他ディストリビューション 50台 120台 © MapR Technologies ®
- 15. MapR 統合データプラットフォーム HBase § JVM § HDFS § NoSQLカラムストア Apache HBase API In-Hadoopデータベース JVM ext3/ext4 テーブル/ファイル ディスク ディスク 他ディストリビューション MapR M7 多層のレイヤーを統合し、オーバーヘッドを除去 ⾼高い性能と運⽤用管理理の⼤大幅な簡素化を実現 © MapR Technologies ®
- 16. Architecture Matters アーキテクチャがすべてを左右する © MapR Technologies ®
- 17. MapR Distribution for Hadoop APACHE HADOOP ECOSYSTEM Hive/ Stinger/ Tez Drill Impala Shark Hue ... Flume Mahout Cascading Solr Spark Storm Sentry Zookeeper Management Sqoop Whirr Pig YARN MapReduce Oozie HBase • 標準ファイルアクセス • クラスタを論論理理的に • ⾼高可⽤用性 • 標準データベースア 分割して異異なる⽤用途 • データ保護 クセス ・ジョブの種類・ユ • ディザスタリカバリ Patent • プラガブルサービス ーザーグループ・管 MAPR-FS • 2〜～5倍の性能 Pending MAPR-FS • 幅広い開発者⽀支援 理理者をサポート FILES • エンタープライズ セキュリティ認証 • ワイヤレベル認証 • データガバナンス MapR Data Platform MapR Data Platform MapR Data Data MapR Platform エンタープライズ グレード パフォーマンス Platform データ保護 • 予測分析・リアル タイムデータベー ス処理理・⾼高レート MAPR-DB のデータ流流⼊入をサ MAPR-DB TABLES ポートする能⼒力力 マルチテナント © MapR Technologies 相互運⽤用性 • トランザクション の完全性を提供す る処理理フレームワ ークユニット 業務 & 分析 ®
- 18. 多くの Hadoop プロジェクトは まだ実験段階 開発/テストが中⼼心: 教育/サービス 最初の業務事例例 1 – 10 ノード © MapR Technologies 幅広い業務利利⽤用 10 – 2000 ノード ®
- 22. MapR 最新のリリース O’Reilly Strata Conference 2014 in Santa Clara (2014/2/11〜13) での発表 1 YARN をサポートした Apache Hadoop 2.2 を含む最新のデ ィストリビューションを発表 既存アプリと MapReduce以外の アプリを共存可能に 2 無償で使⽤用できる開発者向け Hadoop Sandbox を発表 開発と運⽤用⼿手法の 習得を加速 3 HP Vertica プラットフォームを MapR 上で提供 © MapR Technologies SQLでの分析・ 業務処理理の統合 ®
- 23. さっそく MapR を始めましょう Free Trial MapR 評価版ダウンロード 30⽇日間無償の評価ライセンス Amazon Web Services (EMR) Google Compute Engine 数分でクラウド上でクラスタを⽴立立ち上げ MapR Sandbox 無償の開発者向け シングルノードVMイメージ © MapR Technologies ®