Oracle Big Data SQL3.1のご紹介
1 like1,276 views
OracleならではのHadoopソリューションである、Oracle Big Data SQLの最新バージョン3.1がリリースされました ビッグデータ、IoTにより、真にビジネス価値を生み出すためには、HadoopやNoSQL上のデータのみならず、RDBMS上のビジネスデータとの連携とが必須となります 今回のアップデートにより、よりそれらすべてのデータの統合を実現し、より多くのお客さまの、ビッグデータ/IoTからの真なるビジネス価値創出と、競争優位確立をご支援させていただきます
Oracle Big Data SQL3.1のご紹介
- 1. Copyright © 2017, Oracle and/or its affiliates. All rights reserved. | 1 OracleならではのHadoopソリューション HadoopとDatabaseのさらなる統合を実現！ Oracle Big Data SQL 3.1 ご紹介 2017/1/13 日本オラクル株式会社 クラウド・テクノロジー事業統括
- 2. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | • 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するもの です。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込 むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコ ミットメント（確約）するものではないため、購買決定を行う際の判断材料になさ らないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよ び時期については、弊社の裁量により決定されます。 2 OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。 文中の社名、商品名等は各社の商標または登録商標である場合があります。
- 3. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | はじめに • データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、 データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能にする Oracle Big Data SQLの最新バージョン3.1がリリースされました • ビッグデータ、IoT、AIの技術を利用し、真にビジネス価値を生み出すためには、 HadoopやNoSQL上のデータだけでは実現は難しく、マスタデータやトランザク ションデータといった、RDBMS上のビジネスデータとの連携とが必須となります • 今回のアップデートにより、より多くのお客さまの、ビッグデータ/IoTからの真なるビ ジネス価値創出と、競争優位確立のお役に立てると確信しております 3
- 4. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 業務 アプリケーション オペレーショナル レポーティング RDBMS 成功のポイントはデータベースとの共存にあり！ HadoopとRDBMSの強みを組み合わせる データの特性や活用目的にあわせ、最適なテクノロジーを組み合わせる ソーシャル メディア IoT 73° Big Data Management System Hadoop アナリティクス • Hadoopの特長 – Schema-On-Readによる柔軟性 • 格納時にデータスキーマの考慮不要、 利用時に定義 • レイアウトが変わるデータに向いている – 高速なデータ加工・編集・集計処理 • 並列分散処理システム • Sparkなどの豊富なエコシステム – 低いバイト単価 • ストレージコストの低下の恩恵 4
- 5. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 成功のポイントはデータベースとの共存にあり！ Oracle Big Data Management System データ量にとらわれず、新たなテクノロジーの恩恵をどう活用するか 目的 パターン/ データ特性 Hadoop DWH/Database バッチ処理・ データ加工 バッチ処理と 生データ保持 ETL処理、生データ 処理後データ データ 分析 データ密度・ データ価値 低い 高い フォーマット 変更頻度 多い 少ない 粒度 細かい 粗い 参照頻度 少ない 多い センサーデータ、 ログデータ、GPSデータ、SNS等 既存のRDBMS内のデータ （マスターデータ/ トランザクションデータ） 明細データ サマリデータ 経年データ アクティブデータ 5 バッチ処理・データ加工・ 大福帳作成・生データ保持 ETL処理・データ加工後の データ
- 6. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL • データベース上のデータのみならず、HadoopやNoSQL上のすべてのデータにも、 データベースへのSQLでシンプルに、迅速に、セキュアにアクセス可能 6 Smart Scan クエリをExadataの ストレージサーバーにオフロード Storage Index クエリに必要な データブロックのみをスキャン SQL一つで、 必要なデータが 高速にセキュアに返される Smart Scan クエリをBig Data Applianceの データノードにオフロード Storage Index クエリに必要な データブロックのみをスキャン Predicate Pushdown Hadoopが得意な処理を、 Hadoop側で実施 SQL 必要データ のみ移動 SQL Hadoop Oracle Database 12c 既存のアプリ、ツール、スキル そのままで全てのデータがクエリ可能 Hive metadata
- 7. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Oracle Big Data SQL3.1 リリースハイライト 1. Expanded Deployments – DatabaseとHadoopの組み合わせパターンが増えました 2. Ethernet Option for Connections to the Exadata Database Machine – Exadataとの接続にEthernet 接続も可能となりました 3. Simplified Deployment on Oracle Database Servers -Oracle Grid Infrastructure is now Optional – Database側のグリッド構成が必須でなくなりました 4. Unified Platform Support in the Oracle Big Data SQL Installer – BDSのインストーラが、BDAとDIY環境で統合されました 5. New Features to Simplify ILM - Oracle Database Tablespaces in HDFS – DBのテーブルスペースをHDFS上に配置できるようになりました。ただし、Read-Onlyです 6. Enhancements in Oracle Shell for Hadoop Loaders（OHSH） 1.2 – DBとHadoopの統合シェルコマンドである、Oracle Shell for Hadoop Loadersが拡張されました 7. Enhancements to Copy To Hadoop – OHSHでdirectcopyというオプションが追加され、DBのpumpデータを直接HDFSに着地させることができるようになりました 8. Installation Instructions Moved to Oracle Big Data SQL Installation Guide – インストールガイドが独立しました 7 主なUpdate（マニュアルより）
- 8. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 1.Expanded Deployments 8 Big Data SQL適用パターンが拡大、さらに多くのお客様にHadoopとDBの統合活用を提供 Engineered Systems XB Oracle Cloud* Commodity Servers Mixed Deployment Engineered Systems* Mixed Deployment * Coming Soon! 詳細な対応バージョン等は、 Compatibility Matrixを参照ください
- 9. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS 9 より多くのデータを安価に、セキュアに、SQLで分析可能に Oracle Big Data SQL Rolling 13 monthsMonth 14-n Oracle Big Data SQL 3.0 w/ DB12c • HadoopフォーマットでHDFSにデータ保持 • Big Data SQLによりスキャンや絞込み処理 をHadoop側にオフロード可能 Oracle Big Data 3.1NEW w/ DB12c • OracleフォーマットでHDFSにデータ保持 • dbfをネイティブに取り扱うことが可能 パフォーマンスがさらに向上 New capability in 3.1 Data Stored in Oracle format
- 10. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS 10 2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に • 1. Viewによる統合(従来の方式) • 2. ハイブリッドテーブル HDFS With BDS HDFS With BDS DATABASE VIEW DATABASE 実表 実表 外部表 HDFS DATABASE
- 11. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 5.New Features to Simplify ILM - Oracle Database Tablespaces in HDFS 11 2つの統合パターンを実現。HDFS上のデータをOracle側で実表としても定義可能に …JAN 2014 FEB 2014 MAR 2014 OCT 2016 NOV 2016 DEC 2016 HDFS Orders Database OCT 2016 NOV 2016 DEC 2016 JAN 2014 FEB 2014 MAR 2014 ホットではない、パーティションをHDFSに移動 ハイブリッドな パーティションテーブル 実表のレイアウトは変更なし ＝アプリに影響なし
- 12. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | OracleBig Data SQL詳細情報 • Oracle Big Data SQL3.1パッチ（MOSより） – Patch 25369057 - bdsql 3.1 installer bundle for CDH – Patch 25369091 - bdsql 3.1 installer bundle for HDP – Patch 24368922 - one-off-patch on top of 12.1.0.2.161018 DBBP • マニュアル – Oracle Big Data SQL Online Documentation Library Release3.1 • ご参考資料 – Oracle Database 12c Release 2 コアテク・セミナー(2016/10）資料、6．Big Data 12
- 13. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Appendix:Big Data活用をオンプレミスでもクラウドでも 13 お客様データセンター 購入 お客様による管理 専有環境 Big Data Appliance お客様データセンター サブスクリプション オラクルが管理 専有環境 近日リリース予定 Big Data Cloud Machine Oracle Cloud サブスクリプション オラクルが管理 専有環境 Big Data Cloud Service 近日リリース予定 Big Data Cloud Service – Compute Edition Oracle Cloud サブスクリプション フルマネージド 共有環境
- 14. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Appendix:Oracle Big Data Cloud Service 14 エンタープライズ向けビッグデータ活用環境をクラウドで ・データ蓄積可能な、高パフォーマンスな お客様専用環境をご提供 ・月額定額料金、クエリ実行に課金なし ・1時間単位での一時的なリソース増減が可能 1.多様なデータを 専用環境上に すぐに蓄積可能 ・Cloudera HadoopのエコシステムやSparkも利用可能 ・オラクルのビッグデータ分析ツールを包含 （R言語、空間分析、グラフ分析、画像分析） ・データロード、データ加工を実現するETLツール包含 2.ビッグデータ分析・ 活用ツールを含有 ・Oracle Exadata Cloud Serviceとの高速連携 クラウド上でビッグデータマネジメント基盤を実現 ・Oracle Big Data SQL Cloud Service により、 SQLで高速かつセキュアにアクセス可能 ・SaaSやPaaSなど他クラウドとの密連携 3.他クラウドとの 密連携 Big Data Cloud Service https://cloud.oracle.com/ja_JP/bigdata
- 15. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Appendix: 関連情報のご案内 • 各種技術資料を、SlideShareで公開しております – Hadoopソリューション • OracleのHadoopソリューションご紹介 • Oracle Big Data Cloud Serviceのご紹介 • Oracle Cloudで始める、DBエンジニアのためのHadoop超入門（db tech showcase2016) • OracleとHadoop連携の勘所 （Oracle DBA ＆Developers Day2016資料） – 機械学習ソリューション • Oracle Data Miner Tutorial （Data Miner のセットアップ、表データの加工とモデル構築） • Oracle R Enterprise（Oracle R Enterprise のセットアップ、Oracle R Enterprise の使い方） – その他豊富なクラウドサービス Slideshare oracle4engineer 15 詳細は「Slideshare, oracle4engineer」で検索
- 16. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | Appendix: 関連情報のご案内 データベースインサイダー 16 • 各種技術資料を、オラクルデータベースインサイダーで公開しております – Big data/IoT関連 • ちょっと待って！そのHadoop、NoSQL、RDBMSの使い分けは正しいの？ 最適解をオラクルのビッグデータ製品開発者に聞いた • 「IoT＆ビッグデータ環境を2週間で導入してビジネス立ち上げ」も Oracle Cloud Platformなら本当にできる！ • どこが違う？ 何がうれしい？ オラクルならではのビッグデータソリューション • アナリティクスがもっと簡単に 業務ユーザーの身近なツールになる • リアルタイムデータ連携 ビッグデータ活用の領域でも普及が進むOracle GoldenGate • いつものSQLでHadoop操作を。 “フツーの会社”のためのビッグデータ活用基盤とは 詳細は「データベースインサイダー」で検索
- 17. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | オラクルのビッグデータ製品が、仮想マシン環境上ですぐに無料でお試しできます！ Appendix:Oracle Big Data Lite のご紹介 17 • 事前設定済のオラクルビッグデータ製品の最新バージョンが 入ったVM環境をインストール作業の必要なく、すぐに利用可能 • OTNサイトから無料でダウンロード • サンプルデータ込、自己学習のための動画、 デモスクリプトも公開 • RDBMS、Hadoop、NoSQL、R、Spatial, Graph、 興味のある製品から、ビッグデータ活用の全体フローまで お好きな製品をローカルの仮想マシン環境上で • 自己学習環境としてぜひお試しください *自己学習用のサポート対象外製品です *使用にあたっては、 License Agreementをよくお読みになり、同意の上、ご利用ください *OTN Communityのフォーラムにも技術ディスカッションのスレッドがございます https://community.oracle.com/community/database/big_data
- 18. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. | 18 Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。 電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。 もちろん、無償。どんなことでも、ご相談ください。
- 19. Copyright © 2017 Oracle and/or its affiliates. All rights reserved. |