Amazon Redshift 概要 (20分版)
5 likes9,084 views
2018年1月23日に実施したAmazon Redshift オンラインハンズオンでのRedshift概要説明資料です。
![© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
7
ノードタイプ
SSDベースのDCとHDDベースのDSから選択
• データは圧縮されて格納されるため、ストレージ総量より多くのデータが格納可能
最大128ノード：2ペタバイトまで拡張可能
• ノードタイプやノード数は後から変更可能
DC2 - Dense Compute
仮想CPU メモリ[GB] ストレージ ノード数 価格
dc2.large 2 15 0.16TB MVNe SSD 1~32 $0.314/時間
dc2.8xlarge 32 244 2.56TB MVNe SSD 2~128 $6.095/時間
DS2 – Dense Storage
ds2.xlarge 4 31 2TB HDD 1~32 $1.190/時間
ds2.8xlarge 36 244 16TB HDD 2~128 $9.520/時間
※価格は東京リージョンにおいて2018年1月時点のものです
※旧世代のDC1も利用可能です](https://image.slidesharecdn.com/2018-01-23-redshift-in-20min-public-180129061530/85/Amazon-Redshift-20-7-320.jpg)
Amazon Redshift 概要 (20分版)
- 1. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 1 アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 下佐粉 昭 @simosako 2018.1.23 Amazon Redshift 概要
- 2. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 2 注目を集めるクラウド型データ・ウェアハウス DWHの課題：投資対効果の検討が困難 • 導入時点で数年先のデータ増加量を見通すのは困難 • 投資に見合ったビジネスへの貢献＝ 価値のあるデータ分析ができるか？ • しかし、やってみないと分からないからこそ分析したい クラウドでは①：利用した分だけの支払い • 初期投資が不要。導入のリスクが最小 • DWHに付随するその他の投資（バックアップディスク等）も最小 クラウドでは②：運用管理が楽で柔軟に • 必要な時にすぐに作成可能、専門家でなくてもDWHを起動可能 • 自動バックアップ、障害からの自動回復など • 検証機やスタンバイ機が不要
- 3. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 3 Amazon Redshiftの概要 クラウド上のDWH • 数クリックで起動 • 使った分だけの支払い • 運用管理の手間が少ない 高いパフォーマンス • ハイ・スケーラビリティ 高い汎用性 • PostgreSQL互換のSQL • 多くのBIツールがサポート コンピュート ノード コンピュート ノード コンピュート ノード リーダー ノード SQLクライアント BIツール JDBC/ODBC
- 4. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 4 Redshift - DWHに特化した設計 １）大規模スケールアウトを可能にするデザイン • MPP : Massive Parallel Processing • シェアードナッシング （ディスクをノードで共有しない） ２）ディスクIOを削減するための様々な仕組み • DWH最大のボトルネックはディスクIO
- 5. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 5 Redshiftの構成① - MPP＆シェアードナッシング SELECT * FROM lineitem; リーダーノードがクライア ントからSQLを受け取る CPU CPU CPU CPU CPU CPU Leaderノード Computeノード １つの表を各ノード のストレージに分散 して保存（シェアー ドナッシング） 表データ
- 6. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 6 Redshiftの構成② SELECT * FROM lineitem; SQLをコンパイル、 コードを生成し、コン ピュートノードへ配信 CPU CPU CPU CPU CPU CPU Leaderノード Computeノード スライス＝ メモリとディスクを ノード内で分割した論 理的な処理単位 コンピュートノードの追 加でパフォーマンス向上 （スケールアウト）
- 7. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 7 ノードタイプ SSDベースのDCとHDDベースのDSから選択 • データは圧縮されて格納されるため、ストレージ総量より多くのデータが格納可能 最大128ノード：2ペタバイトまで拡張可能 • ノードタイプやノード数は後から変更可能 DC2 - Dense Compute 仮想CPU メモリ[GB] ストレージ ノード数 価格 dc2.large 2 15 0.16TB MVNe SSD 1~32 $0.314/時間 dc2.8xlarge 32 244 2.56TB MVNe SSD 2~128 $6.095/時間 DS2 – Dense Storage ds2.xlarge 4 31 2TB HDD 1~32 $1.190/時間 ds2.8xlarge 36 244 16TB HDD 2~128 $9.520/時間 ※価格は東京リージョンにおいて2018年1月時点のものです ※旧世代のDC1も利用可能です
- 8. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 8 IOを削減する仕組み① - 列指向型（カラムナ） ・行指向型（他RDBMS） ・列指向型（Redshift） orderid name price 1 Book 100 2 Pen 50 … n Eraser 70 orderid name price 1 Book 100 2 Pen 50 … n Eraser 70 カラムナはDWH用途に適した格納方法
- 9. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 9 IOを削減する仕組み② - 圧縮 データは圧縮してストレージに 格納される カラムナのため類似したデータ が集まり、高い圧縮率を実現 エンコード（圧縮アルゴリズ ム）は列ごとに選択可能 COPYコマンドやANALYZEコマ ンドで圧縮アルゴリズムの推奨 を得ることが可能
- 10. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 10 IOを削減する仕組み③ - ゾーンマップ Redshiftは「ブロック」単位で ディスクにデータを格納 １ブロック＝１MB ブロック内の最小値と最大値をメ モリに保存 不要なブロックを読み飛ばすこと が可能 10 | 13 | 14 | 26 |… … | 100 | 245 | 324 375 | 393 | 417… … 512 | 549 | 623 637 | 712 | 809 … … | 834 | 921 | 959 10 324 375 623 637 959
- 11. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 11 フルマネージドサービス 設計・構築・運用の手間を削減 • 数クリックで起動 • １時間単位の費用 • ノード数やタイプは後から変更可能 • バックアップ • 自動的にS3に差分バックアップ • 手動バックアップも可能 • モニタリング機能：CloudWatch • パッチ適用も自動的 • メンテナンスウィンドウでパッチの時間 帯を指定可能
- 12. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 12 Redshiftが向く用途 特化型のデータベースのため、 適した用途に使うことでパフォーマンスを発揮します Redshiftに向くワークロード • 巨大なデータ・セット（数百GB～ペタバイト） • １つ１つのSQLが複雑だが、同時実行SQLは少ない • データの更新は一括導入 ユースケース • データウェアハウス（DWH） • ユーザがクエリーを作成する（自由クエリー）（BI等）
- 13. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 13 Redshiftの特徴を生かせないユースケース SQLの並列実行数が多い（※同時接続数ではなく同時実行数） • RDS/Auroraを検討 極めて短いレーテンシが必要なケース • ElastiCache(インメモリDB）やRDS/Auroraを検討 ランダム、かつパラレルな更新アクセス • RDS/AuroraもしくはDynamoDB (NoSQL)を検討 巨大なデータを格納するが集計等はしない • DynamoDBや大きいインスタンスのRDSを検討
- 14. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 14 ニーズに応じて適切なデータストアを選択してください AWSのデータストアと、特性に応じた使い分け Amazon DynamoDB Amazon RDS/Aurora Amazon ElastiCache Amazon Redshift SQL NoSQL• 低レンテンシ • インメモリ • 3拠点間での レプリケーション • 高いIOPS • トランザク ション処理 • 汎用 • 集計・分析処理 • 大容量データ • DWH
- 15. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 15 オンプレミス環境との連携 • ファイルをS3に転送し、そこからRedshiftへデータロード • 大容量の転送を安定させる場合は専用線接続も可能 Amazon Redshift データセンター RDBMS Amazon S3 BI on Amazon EC2 もしくはAmazon QuickSight テキストファイル 1,Book,100⏎ 2,Pen,50⏎ … n,Eraser,10⏎ アプリサーバ Webアクセス・ログ 2013-06-05 12:00:00 192.168.0.2 http://www.amazon.com 2013-06-05 12:00:01 … インターネットVPN もしくは 専用線接続 （Direct Connect) ロード （COPY）
- 16. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 16 AWSパートナーによる RedshiftサポートのBI・ ETLソフトウェアが多数 PostgreSQLとの高い互換性 をもとに、既存ツールの活 用がしやすい環境 多くの周辺ツールを活用可能
- 17. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 17 Redshift Spectrum • Redshiftのデータ保存方法を拡張 • S3上のファイルを外部テーブルと して定義し、ロードせずクエリ • ローカルストレージ上のデータと ジョインが可能 • 多様なファイルフォーマットに対応 • CSV, TSV, Parquet, ORC ... S3 各種データ （CSV，Parquet等） Spectrum層
- 18. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 18 補足：AWS Cloud9 • ブラウザだけでコーディング、実行、デバッグが可能なクラウドネイティブIDE • リッチエディタ、統合デバッグ、AWS CLIがプリインストールされたビルドイン ターミナル • 数分で利用開始可能で、ローカル開発マシンのインストールや環境構成は不要 • 安価な利用料金（Cloud9から起動したEC2で費用が発生）
- 19. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 19 AWS Cloud9 スクリーンショット 自動補完機能 シンタックスチェックや コードのカラーリング
- 20. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 20 まとめ：Redshift 低リスクかつ低コストで高速・スケーラブルなデータウェ アハウスを容易に構築・運用できる 小規模利用からエンタープライズシステムにおよぶ幅広い 分野での実績 まずはお試しください！ • 無料利用枠：最初の2か月間 dc1.large 750時間/月
- 21. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 21 ケース・スタディ
- 22. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 22 POSデータ を 定期的に転 送 すかいらーく様 POSデータ分析 過去数年分、数十億件のデータに加えて、日に数百万件のデータを投入 POSの生データを必要とする複雑な分析が、数日=>数秒になり、仮説検証・施 策投入のサイクルが飛躍的に向上 • レシート単位の売り上げ分析、商品の併売率、バスケット粗利、販 促施策の費用対効果、時間ごとの店舗稼働率、滞在時間等を分 析 Why AWS • コスト：DWHアプライアンスと比べて2桁安 • スピード：利用開始までの期間が既存ソリューションの10分の1 • 容易性：膨大なデータを扱うにもかかわらず、高度なITインフラ知識 が不要 • スケーラビリティ：データ量が増えても 基盤の心配なく分析可能 国内3000店舗、年間4億人が利用するレストランの POSデータ分析システムを、わずか1ヶ月で本番稼動 自社DC Amazon Redshift (DWH) Amazon S3 (データ収集) Amazon EC2 (分析サーバー) 膨大なデータを数秒 ～数十秒で分析 フィー ドバッ ク 本部（マーケティング部 門） きめ細かいメッシュ、 多次元の相関を加味した 売上予測、販促効果分析 店舗（約3000店） 要員計画、調達計画、 臨時キャンペーン等に 活用 本部 店舗 http://aws.amazon.com/jp/solutions/case-studies/skylark/ http://media.amazonwebservices.com/jp/summit2014/EA-06.pdf
- 23. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 23 NTTドコモ様 統合DWHプロジェクト 「ペタバイト級のデータを安全に ハンドリングしつつ、拡張性に富 む業務分析システムを実現できま した」 安全性を担保するために、NTTドコモで構築する業務系システム等は、高い情報セ キュリティ基準をクリアすることが前提となっています。以前ではオンプレミス 以外ではこの基準をクリアすることは厳しいと考えていましたが、 • セキュリティ機能の充実 • アクセス制御・統制 • ユーザ管理・統制 といった AWS の機能追加により、これら の基準をクリアするシステム構築が可能 になりました
- 24. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 24 関連資料・情報
- 25. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 25 関連情報 Amazon Redshift • Amazon Redshift ホームページ • https://aws.amazon.com/jp/redshift/ • AWS Blackbelt – Amazon Redshift • https://www.slideshare.net/AmazonWebServicesJapan/aws-black- belt-online-seminar-amazon-redshift • AWS Blackbelt – Amazon Redshift Spectrum • https://www.slideshare.net/AmazonWebServicesJapan/aws-black- belt-online-seminar-2017-amazon-redshift-update AWS Cloud9 • AWS Cloud9 ホームページ • https://aws.amazon.com/jp/cloud9/
- 26. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 26 内容についての注意点 • 本資料では2018年1月23日時点のサービス内容および価格についてご説明しています。最新 の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に 相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途 消費税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
- 27. © 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 27