IBM Cloud を利用したデータ分析ことはじめ
1 like946 views
IBM Cloud 内のデータベースサービスの Db2 Warehouse on Cloud の解説と、データをクラウドへ移行する際に利用可能なETLツール、 DBMotoの紹介です。
![17
サポートするデータベース
IBM DB2 for i(AS/400)
IBM DB2 for z/OS
IBM DB2 for AIX, Linux, Windows
Oracle
MS SQL Server
MS Azure SQL Database
MySQL/Amazon Aurora/MariaDB
IBM Informix
SAP Sybase ASE
SAP Sybase SQL Anywhere
IBM PureData(Netezza)
PostgreSQL/Amazon Redshift
SAP HANA
SAP Sybase IQ
Actian Vectorwise
HP Vertica
MS Access
IBM Db2 Warehouse on Cloud
Teradata
Hadoop(※リフレッシュのターゲットのみ)
リフレッシュ(全件)
ミラーリング、シンクロナイゼーション(差分)
リフレッシュ(全件)
ミラーリング(差分)のターゲット[複製先]
リフレッシュ ミラーリング
17](https://image.slidesharecdn.com/slideshare0301db2wocxdbmotowebinar-180318074112/85/IBM-Cloud-18-320.jpg)
IBM Cloud を利用したデータ分析ことはじめ
- 2. IBM Cloud IBM Cloudが分析に最適な3つの理由 完全自動運用 分析業務に最適な テクノロジー ユーザフレンドリー 2.1. 3.
- 3. IBM Cloud 1. ユーザフレンドリー 2 クラウドの俊敏性が最大限発揮できるよう、手元のデータがSQLやBIツールから利 用可能になるまでの使い勝手にこだわりました。 データベース構築 パーティション設計 テーブル設計 データロード インデックスやサマリー表の設計 インデックス作成 サマリー表作成 パラメーターチューニング ヒント句を利用するなどのSQLチューニング 新たな要件に 対して繰り返す 作業 データベース構築 パーティション設計 テーブル設計 データロード インデックスやサマリー表の設計 インデックス作成 サマリー表作成 パラメーターチューニング ヒント句を利用するなどのSQLチューニング AWS redshift / Azure SQL datawarehouse Db2 Warehouse on Cloud / Db2 on Cloud わずか 数クリック 手元のファイ ルをドラッグ ＆ドロップ 面倒な作業は一切 不要。ユーザは何 もしなくて良い。 分析開始 分析開始
- 4. IBM Cloud 2. 完全自動運用 3 ユーザはデータを活用する業務に集中。DB運用担当者はもはや必要ありません。 IBM 他社 構築 データロード時にテーブル自動作成。ユーザが表 定義を考える必要なし。 ユーザがデータから表定義を考えて、 DDLを書き、DBに定義する必要がある。 SQL実 行/アプ リ連携 • WEBブラウザから実行。クライアントSWのイ ンストールなし。 • ODBC/JDBCやAPIコールで実行 • 別途クライアントソフトを用意 • ODBC/JDBCやAPIコールで実行 同時実 行性 ◯ △：パフォーマンス影響あり 性能 • ベアメタルサーバの為コスト対性能が高い • ノード追加によるリニアな性能向上が可能 • スケールしても性能が出ないケースあり • 仮想環境による提供のため不安定な性能 メンテ ナンス 完全自動運用のため、ユーザによるメンテナンス 作業は一切不要 パッチ適用などインフラ管理は不要だが、 要DBチューニング（例：不要データ削除VACUUM）
- 5. IBM Cloud 3. 分析業務に最適なテクノロジー 4 分析業務に求められる大量データ処理に対して、近年のメインストリーム「インメ モリ・カラムナー」の技術をクラウドでそのまま活用できるのは唯一IBMだけ HWリソースは一切意識しない インデックスやメンテが不要 MPP構成・超並列処理 巷の分析用データベース/DWH IBMのテクノロジー（BLU） DWHの代表的な構成 「MPP」が非対応。。
- 7. IBM Cloud6 IoTソリューションにおける データ分析 Cloudantを中間に置き、 スキーマ自動変換を利用することも可能 分析 機械学習やデータサイエンス過去データの可視化や セルフサービスBI IBM SPSS Modeler IBM SPSS CADS 社内 システム Db2 Cognos Analytics Watson Explore Visual Recognition Watson Machine Learning 3rd Party data ク ラ ウド オンプレ ミ ス ( or ク ラ ウド ) Db2 クローリング 構造化 自動化 可視化 分析設計 機械学習 画像処理 機械学習 展開 予測値・シミュレーション SPSS、Watson Machine Learning、DSX等 と組み合わせて、機械学習や予測分析に活用 大量データからの集計、計算処理 などを高速にこなす Db2 Warehouse on Cloud 活用シーン
- 8. IBM Cloud 事例：株式会社ゲオ様 Db2 Warehouse on Cloudで実現するAd-hoc分析 -Big Dataを”現場”で活用- システム部 CIO 開発部 クーポンの過剰配布抑止 週350万円（75%） のコスト削減 One to One レコメンデーション より現実的な提案へ （顧客ベース分析） 高いSQLの互換性 手軽なAd-hoc分析 パフォーマンスチューニング無用 単純条件検索から 複雑検索へ データの可視化 ITリソースはこれから 部門単位調達でお願い します あのDBはもう保守切 れだけど、高額なので 保守延長しません 移行したらパーマンスチュ ーニングやらSQLの書き換 などが大変・・・ 現場の声をより大量に反 映した売り場づくりへ （商品ベース分析） 統計や機械学習 と連係した分析 “DBAってなんだったんだろう”
- 9. IBM Cloud 事例：株式会社ゲオ様 Db2 Warehouse on Cloudで実現するAd-hoc分析 -Big Dataを”現場”で活用-
- 10. IBM Cloud 事例：製造業A社 9 社内システム 国内販売系システム 海外販売系システム 国内生産系システム 海外生産系システム IBMi その他システム Oracle SQL Server IBM Cloud 社内ユーザー Db2 Warehouse on Cloud (DBaaS) BIサーバー レポーティングサーバー (IaaS) レプリ ケーション サーバー 全拠点のデータをクラウドに統合。生産の見える化を実現
- 11. IBM Cloud10 NEW!! Db2 Warehouse on Cloud Flex plan 他社のようにノード数を意識する必要はありません。必要なCPU数とストレージを それぞれ自由に拡張。 短時間で拡張完了。ストレージは即時。CPUは30～40分程度で拡張可能。 利用するときだけ拡張する事でコスト削減。イン・アウトバウンド通信には課金され ません。7世代のバックアップストレージのコストも月額使用料に含まれます。
- 12. IBM Cloud11 Db2 Warehouse on Cloud モデルラインナップ プラン Entryプラン 1TBプラン 4TBプラン 12TBプラン MPP for IBM Cloud 型番 D1DC4LL D1G79LL D1G7DLL D1I4ILL インフラ IBM Cloud IBM Cloud IBM Cloud IBM Cloud IBM Cloud 環境の共有 共有 専有 専有 専有 専有 仮想 or 物理 - 仮想 物理 物理 物理 CPU - 16 vCPU 32コア 32コア 1ノードあたり24コア メモリ - 64GB 256GB 256GB 1ノードあたり256GB ストレージ 20GB SAN 1TB SAN 4TB SAN 12TB SAN 1ノードあたり5TB SSD 備考 生データ1GBまで無料 - - - 最低3ノード～ 価格 （月額） ¥5,250 ¥167,700 ¥670,800 ¥1,052,000 ¥772,000 ※1ノードあたり 価格は月額（定価）です。税金が別途加算されます。 ここまで手軽なプラン があるのはIBMだけ！
- 13. IBM Cloud IBM Cloudのデータベース、無償でお使いいただけます ▪ まずはIBM Cloud アカウントを作成ください。 http://bit.ly/2jknYWC ▪ Db2 Warehouse on Cloud（旧名称 dashDB） を無償でお使い頂けます。下記の便利情報も 活用ください。 http://ibm.biz/Db2WarehouseOnCloud Get started with Db2 Warehouse on Cloud http://bit.ly/2A0HNvX 日本語技術情報 https://ibm.co/2BhLprJ https://ibm.co/2ku4Vtw 学ぶ さわってみよう！ https://ibm.co/2hNoEDd 調べる オンラインマニュアル（英語） https://ibm.co/2A3p8Qk Qiita http://bit.ly/2A12FmO
- 14. IBM Cloud まとめ：IBM Cloudが分析に最適な3つの理由 完全自動運用 分析業務に最適な テクノロジー ユーザフレンドリー 2.1. 3.
- 15. 株式会社クライム 飯尾 旭 2018 3/1 異種DB間対応 リアルタイムレプリケーション DBMoto
- 16. 15 DBMotoとは 複製元DB 複製先DB システム要件 CPU：2GHz以上、2Core以上推奨 メモリ：4GB以上 HDD：5GB以上 Windows 10/8.1/8/ OS： Windows Server 2016/2012R2/2012 異種DB間のリアルタイムデータ複製ツール 15 異種データベース間に対応した リアルタイムレプリケーションツール
- 17. 16 柔軟性 リアルタイム 複雑なレプリケーション 小規模から大規模環境まで 16 DBMotoの特徴 対応力 多くのDB・DWHをサポート DBはOS依存なし 物理、仮想、クラウド 使いやすさ Windowsによる一元管理 エージェントレス ツールは日本語表示 開発元：HiT Software, Inc. 1994年からDBアクセスツールの開発・販売 本社：San Jose, California 全世界に販売網(日本は株式会社クライムが担当)
- 18. 17 サポートするデータベース IBM DB2 for i(AS/400) IBM DB2 for z/OS IBM DB2 for AIX, Linux, Windows Oracle MS SQL Server MS Azure SQL Database MySQL/Amazon Aurora/MariaDB IBM Informix SAP Sybase ASE SAP Sybase SQL Anywhere IBM PureData(Netezza) PostgreSQL/Amazon Redshift SAP HANA SAP Sybase IQ Actian Vectorwise HP Vertica MS Access IBM Db2 Warehouse on Cloud Teradata Hadoop(※リフレッシュのターゲットのみ) リフレッシュ(全件) ミラーリング、シンクロナイゼーション(差分) リフレッシュ(全件) ミラーリング(差分)のターゲット[複製先] リフレッシュ ミラーリング 17
- 21. 20 リフレッシュ: 処理の流れ 参照先はテーブル バルクインサートで高速転送 ソース ターゲット SELECT INSERT 20
- 22. 21 ミラーリング 片方向の差分レプリケーション DBのトランザクションログを直接参照 DBにトリガーを設定することも可能 参照サイクルは既定で60秒間隔(変更可能) 差分のためデータ量小、負荷小 DB2 AS/400 ジャーナル・レシーバー DB2 LUW ログ(プロシージャ経由) Oracle REDOログ・アーカイブログ SQL Server ログ(ディストリビュータ経由) MySQL バイナリログ 参照するトランザクションログ トリガー対応DB ・DB2 z/OS, DB2 LUW ・Oracle ・SQL Server ・MySQL ・Informix 21
- 24. 便利機能
- 28. 27 データのカスタマイズ・複雑な連携 1234 関数を使用しマッピング可能 クライム Climb 12 1234 クライム Climb 00012 2017/6/26 Trim() ユーザ関数 Now() スクリプト: VB, C# ・条件付きレプリケーション 例:値が～を満たすとき 例:更新のみ反映、登録は無視 ・テーブルの結合 ・ユーザ関数の定義 API: VB, C#, C++ ・バッチ処理、パラメータ取得 27
- 29. 29 DBMotoとDb2 Warehouse on Cloudの接続 テーブル作成 データレプリケーション 簡単3ステップ!!