Submit Search
JAWS-UG 横浜 re:Invent re:Cap week1 EC2ストレージパフォーマンスの進化
0 likes
2,845 views
Shuji Kikuchi
JAWS-UG 横浜 re:Invent re:Cap week1 の LT資料です
Technology
Read more
1 of 33
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
More Related Content
PPTX
失敗から学ぶAWSの監視
株式会社オプト 仙台ラボラトリ
PDF
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
Amazon Web Services Japan
PDF
20190130 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
Amazon Web Services Japan
PDF
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
Amazon Web Services Japan
PDF
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
Amazon Web Services Japan
PDF
AWS Black Belt Techシリーズ Amazon VPC
Amazon Web Services Japan
PDF
AWSの課金体系
Amazon Web Services Japan
PDF
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
失敗から学ぶAWSの監視
株式会社オプト 仙台ラボラトリ
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
Amazon Web Services Japan
20190130 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
Amazon Web Services Japan
20190129 AWS Black Belt Online Seminar AWS Identity and Access Management (AW...
Amazon Web Services Japan
20200422 AWS Black Belt Online Seminar Amazon Elastic Container Service (Amaz...
Amazon Web Services Japan
AWS Black Belt Techシリーズ Amazon VPC
Amazon Web Services Japan
AWSの課金体系
Amazon Web Services Japan
20210216 AWS Black Belt Online Seminar AWS Database Migration Service
Amazon Web Services Japan
What's hot
(20)
PDF
AWS X-Rayによるアプリケーションの分析とデバッグ
Amazon Web Services Japan
PDF
浸透するサーバーレス 実際に見るユースケースと実装パターン
Amazon Web Services Japan
PPTX
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
ShuheiUda
PDF
AWS Black Belt Online Seminar 2016 AWS CloudFormation
Amazon Web Services Japan
PDF
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
PDF
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
PDF
20190320 AWS Black Belt Online Seminar Amazon EBS
Amazon Web Services Japan
PDF
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
PDF
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Web Services Japan
PPTX
AWSで作る分析基盤
Yu Otsubo
PDF
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
PDF
20200526 AWS Black Belt Online Seminar AWS X-Ray
Amazon Web Services Japan
PPTX
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
PDF
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
PDF
20190730 AWS Black Belt Online Seminar Amazon CloudFrontの概要
Amazon Web Services Japan
PDF
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
Amazon Web Services Japan
PDF
20191023 AWS Black Belt Online Seminar Amazon EMR
Amazon Web Services Japan
PDF
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
PDF
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
PDF
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
AWS X-Rayによるアプリケーションの分析とデバッグ
Amazon Web Services Japan
浸透するサーバーレス 実際に見るユースケースと実装パターン
Amazon Web Services Japan
サポート エンジニアが Azure Networking をじっくりたっぷり語りつくす会
ShuheiUda
AWS Black Belt Online Seminar 2016 AWS CloudFormation
Amazon Web Services Japan
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
20190320 AWS Black Belt Online Seminar Amazon EBS
Amazon Web Services Japan
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
Amazon Web Services Japan
20210330 AWS Black Belt Online Seminar AWS Glue -Glue Studioを使ったデータ変換のベストプラクティス-
Amazon Web Services Japan
AWSで作る分析基盤
Yu Otsubo
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
20200526 AWS Black Belt Online Seminar AWS X-Ray
Amazon Web Services Japan
Data Factory V2 新機能徹底活用入門
Keisuke Fujikawa
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
20190730 AWS Black Belt Online Seminar Amazon CloudFrontの概要
Amazon Web Services Japan
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
Amazon Web Services Japan
20191023 AWS Black Belt Online Seminar Amazon EMR
Amazon Web Services Japan
Infrastructure as Code (IaC) 談義 2022
Amazon Web Services Japan
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
Ad
Similar to JAWS-UG 横浜 re:Invent re:Cap week1 EC2ストレージパフォーマンスの進化
(20)
PDF
re:Grouth 2020 : AWS Infrastrucuter Serviceの進化 2020
Shuji Kikuchi
PDF
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
Insight Technology, Inc.
PDF
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Akira Shimosako
PDF
JAWS-UG北陸第5回勉強会 クラウド破産しないためのEBS入門
Kazuki Ueki
PDF
20150821 Azure 仮想マシンと仮想ネットワーク
Kuninobu SaSaki
PPTX
JAWS-UG HPC #17 - HPC on AWS @ 2019
Daisuke Miyamoto
PPTX
Scaling MongoDB on AWS
Yasuhiro Matsuo
PDF
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
Insight Technology, Inc.
PDF
「Windows Azure でスーパーコンピューティング!」for Microsoft MVP camp 2014 大阪会場
幸智 Yukinori 黒田 Kuroda
PDF
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
Insight Technology, Inc.
PDF
クラウドの組み立て方事始め H/W利用者としての事業者
Naoto MATSUMOTO
PDF
【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive
Hibino Hisashi
PPT
Scaling
Kazuho Oku
PPTX
AWSでのバースト ― GP2 T2 ご紹介資料
Rasmus Ekman
PDF
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
Nissho Lab
PDF
POWER8ここだけの話
IBM Systems @ IBM Japan, Ltd.
PDF
20140315 jawsdays i2 instance io performance
Matsumoto Hiroki
PDF
AKS+KEDAで実現!Container Functions Pipeline
Tsukasa Kato
PDF
SAP on Azure インフラ設計解説:HA/DR、Backupからパフォーマンス最適化まで
Hitoshi Ikemoto
PDF
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
Insight Technology, Inc.
re:Grouth 2020 : AWS Infrastrucuter Serviceの進化 2020
Shuji Kikuchi
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
Insight Technology, Inc.
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Akira Shimosako
JAWS-UG北陸第5回勉強会 クラウド破産しないためのEBS入門
Kazuki Ueki
20150821 Azure 仮想マシンと仮想ネットワーク
Kuninobu SaSaki
JAWS-UG HPC #17 - HPC on AWS @ 2019
Daisuke Miyamoto
Scaling MongoDB on AWS
Yasuhiro Matsuo
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
Insight Technology, Inc.
「Windows Azure でスーパーコンピューティング!」for Microsoft MVP camp 2014 大阪会場
幸智 Yukinori 黒田 Kuroda
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
Insight Technology, Inc.
クラウドの組み立て方事始め H/W利用者としての事業者
Naoto MATSUMOTO
【YahooJapanMeetup#31LT】ElasticStack on AWS DeepDive
Hibino Hisashi
Scaling
Kazuho Oku
AWSでのバースト ― GP2 T2 ご紹介資料
Rasmus Ekman
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
Nissho Lab
POWER8ここだけの話
IBM Systems @ IBM Japan, Ltd.
20140315 jawsdays i2 instance io performance
Matsumoto Hiroki
AKS+KEDAで実現!Container Functions Pipeline
Tsukasa Kato
SAP on Azure インフラ設計解説:HA/DR、Backupからパフォーマンス最適化まで
Hitoshi Ikemoto
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
Insight Technology, Inc.
Ad
More from Shuji Kikuchi
(20)
PDF
re:Growth 2021 コンピュートサービスの進化を語る
Shuji Kikuchi
PDF
AWS Outpostsセミナー オンプレミスネットワークとの接続
Shuji Kikuchi
PDF
NW-JAWS x Tech-on勉強会:AWS Transit Gateway で広がるネットワークアーキテクチャ
Shuji Kikuchi
PDF
[JAWS-UG 横浜] AWS re:Invent 2019Network関連アップデート5本立て
Shuji Kikuchi
PDF
Developers.IO 2019 Tokyo re:inventの歩き方
Shuji Kikuchi
PDF
Developers.IO 2019 ハイブリッド/マルチVPC環境を構成するためのAWSネットワーク完全理解
Shuji Kikuchi
PDF
[JAWS-UG Tokyo 32] AWS Client VPNの特徴
Shuji Kikuchi
PDF
[JAWS DAYS 2019] Amazon DocumentDB(with MongoDB Compatibility)入門
Shuji Kikuchi
PDF
re:Growth 2018 Tokyo:Amazon Global Networkが提供する新サービス
Shuji Kikuchi
PDF
Developers.IO 2018 Tokyo AWSベストプラクティス
Shuji Kikuchi
PDF
AKIBA.AWS #10 NLBを取り巻く環境のUPDATE
Shuji Kikuchi
PDF
[AKIBA.AWS] NLBとPrivateLinkの仕様に立ち向かう
Shuji Kikuchi
PDF
[AKIBA.AWS] VGWのルーティング仕様
Shuji Kikuchi
PDF
[AKIBA.AWS] VPN接続とルーティングの基礎
Shuji Kikuchi
PDF
[AKIBA.AWS] VPCをネットワーク図で理解してみる
Shuji Kikuchi
PDF
[HIGOBASHI.AWS] AWS ネットワーク小ネタ祭り
Shuji Kikuchi
PDF
[AKIBA.AWS] AWS Elemental MediaConvertから学ぶコーデック入門
Shuji Kikuchi
PDF
[AKIBA.AWS] re:invent 2017アップデート:ついてこられるか?AWSネットワークの進化
Shuji Kikuchi
PDF
[MongoDB勉強会 in 2017] MongoDB on AWS
Shuji Kikuchi
PDF
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
Shuji Kikuchi
re:Growth 2021 コンピュートサービスの進化を語る
Shuji Kikuchi
AWS Outpostsセミナー オンプレミスネットワークとの接続
Shuji Kikuchi
NW-JAWS x Tech-on勉強会:AWS Transit Gateway で広がるネットワークアーキテクチャ
Shuji Kikuchi
[JAWS-UG 横浜] AWS re:Invent 2019Network関連アップデート5本立て
Shuji Kikuchi
Developers.IO 2019 Tokyo re:inventの歩き方
Shuji Kikuchi
Developers.IO 2019 ハイブリッド/マルチVPC環境を構成するためのAWSネットワーク完全理解
Shuji Kikuchi
[JAWS-UG Tokyo 32] AWS Client VPNの特徴
Shuji Kikuchi
[JAWS DAYS 2019] Amazon DocumentDB(with MongoDB Compatibility)入門
Shuji Kikuchi
re:Growth 2018 Tokyo:Amazon Global Networkが提供する新サービス
Shuji Kikuchi
Developers.IO 2018 Tokyo AWSベストプラクティス
Shuji Kikuchi
AKIBA.AWS #10 NLBを取り巻く環境のUPDATE
Shuji Kikuchi
[AKIBA.AWS] NLBとPrivateLinkの仕様に立ち向かう
Shuji Kikuchi
[AKIBA.AWS] VGWのルーティング仕様
Shuji Kikuchi
[AKIBA.AWS] VPN接続とルーティングの基礎
Shuji Kikuchi
[AKIBA.AWS] VPCをネットワーク図で理解してみる
Shuji Kikuchi
[HIGOBASHI.AWS] AWS ネットワーク小ネタ祭り
Shuji Kikuchi
[AKIBA.AWS] AWS Elemental MediaConvertから学ぶコーデック入門
Shuji Kikuchi
[AKIBA.AWS] re:invent 2017アップデート:ついてこられるか?AWSネットワークの進化
Shuji Kikuchi
[MongoDB勉強会 in 2017] MongoDB on AWS
Shuji Kikuchi
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
Shuji Kikuchi
JAWS-UG 横浜 re:Invent re:Cap week1 EC2ストレージパフォーマンスの進化
1.
re:Invent 2020 re:Cap
week1 EC2ストレージパフォーマンスの進化 Classmethod 2020/12/5 Shuji Kikuchi
2.
⾃⼰紹介 菊池 修治 Kikuchi
Shuji クラスメソッド株式会社 AWS事業本部コンサルティング部 部⻑/シニアソリューションアーキテクト 2019 APN Ambassadors 2020 APN ALL AWS Certifications Engineer
3.
re:Invent 2020
4.
Keynoteの裏でライブ配信してました
5.
新サービスまとめ
6.
新サービスまとめ
7.
gp3 Volumes for
EBS
8.
gp3ボリューム 新しいEBSボリュームタイプ • gp2の後継 • gp2を超えるIO性能とコスト効率 •
ブートボリュームとしても利⽤可能
9.
新サービスまとめ
10.
io2 Block Express
11.
io2 Block Express 新しいEBSボリュームタイプ(プレビュー) •
最⼤ 256,000 IOPS • 最⼤ 4,000GB/s のスループット • 最⼤ 64TB の容量 • EBS Multi Attacheサポート予定
12.
仕様 汎⽤SSD プロビジョンドIOPS SSD gp3
gp2 io2 Block Express io2 io1 耐久性 99.8% - 99.9% 99.8% - 99.9% 99.999% 99.999% 99.8% - 99.9% サイズ 1GB〜16TB 1GB〜16TB 4GB〜64TB 4GB〜16TB 4GB〜16TB 最⼩IOPS 3,000 IOPS 100 IOPS (3,000 IOPSまで バースト可能) - 100 IOPS 100 IOPS 最⼤IOPS (16KB) 16,000 16,000 256,000 64,000 64,000 最⼤ スループット 1,000MB/s 250MB/s 4,000MB/s 1,000MB/s 1,000MB/s マルチアタッチ サポート ○ ○
13.
仕様 汎⽤SSD プロビジョンドIOPS SSD gp3
gp2 io2 Block Express io2 io1 耐久性 99.8% - 99.9% 99.8% - 99.9% 99.999% 99.999% 99.8% - 99.9% サイズ 1GB〜16TB 1GB〜16TB 4GB〜64TB 4GB〜16TB 4GB〜16TB 最⼩IOPS 3,000 IOPS 100 IOPS (3,000 IOPSまで バースト可能) - 100 IOPS 100 IOPS 最⼤IOPS (16KB) 16,000 16,000 256,000 64,000 64,000 最⼤ スループット 1,000MB/s 250MB/s 4,000MB/s 1,000MB/s 1,000MB/s マルチアタッチ サポート ○ ○
14.
ブロックストレージの最⼤パフォーマンス これまでのEC2では ハイメモリのベアメタル インスタンス(u-6tb1.metalなど)でも 160,000 IOPSが最⼤だった
15.
新しいインスタンスタイプ
16.
R5bインスタンス仕様 インスタンスタイプ vCPU メモリ
(GiB) ネットワーク パフォーマンス EBS Optimized Bandwidth (Mbps) EBS Optimized IOPs@16KiB (IO/s) r5b.large 2 16 最⼤ 10 ギガビット Up to 10,000 Up to 43,333 r5b.xlarge 4 32 最⼤ 10 ギガビット Up to 10,000 Up to 43,333 r5b.2xlarge 8 64 最⼤ 10 ギガビット Up to 10,000 Up to 43,333 r5b.4xlarge 16 128 最⼤ 10 ギガビット 10,000 43,333 r5b.8xlarge 32 256 10 ギガビット 20,000 86,667 r5b.12xlarge 48 384 10 ギガビット 30,000 130,000 r5b.16xlarge 64 512 20 ギガビット 40,000 173,333 r5b.24xlarge 96 768 25 ギガビット 60,000 260,000 r5b.metal 96 768 25 ギガビット 60,000 260,000
17.
gp3を掘り下げる
18.
gp3はgp2より 安くなるのか︖
19.
gp3料⾦ 確保する、容量(GB)と IOPS と
スループット(MB/s)に応じた課⾦ • 1GBあたり $0.096 / ⽉ • 3000IOPS を超えて割当てた 1 IOPS あたり $0.06 / ⽉ • 125MB/sを超えて割当てた 1 MB/s あたり $0.048 / ⽉ (例)100GB、4,000 IOPS、スループット200MB/s 容量 $0.096 x 100GB = $9.6 超過IO $0.06 x 1,000IOPS = $60 超過スループット $0.048 x 75MB/s = $3.6 合計 $73.2/⽉
20.
コスト⽐較 gp3 vs
gp2 vs io2 要件︓容量100GB、6,000 IOPSのボリュームが欲しい gp2の場合(3IOPS/GB) 容量2,000GB をプロビジョニング -> $240/⽉ io2の場合 容量100GB と 6,000IOPS をプロビジョニング -> $458.2/⽉ gp3の場合 容量100GB と 追加IO 3,000IOPS をプロビジョニング -> $27.6/⽉
21.
コスト⽐較 vs GP2 容量 GP2
GP3 割当IOPS 割当スルー プット(MB/s) 料⾦ 割当IOPS 割当スルー プット(MB/s) 料⾦ 100GB 最⼤3,000 ベースライン300 128 $12 3,000 128 $9.74 500GB 最⼤3,000 ベースライン1500 250 ※1 $60 3,000 250 $54 1,000GB 3,000 250 ※1 $120 3,000 250 $102 2,000GB 6,000 250 ※1 $240 6,000 250 $216 8,000GB 16,000 ※1 250 ※1 $960 16,000 250 $852 16,000GB 16,000 ※1 250 ※1 $1,920 16,000 250 $1,620 GP2と同等の容量、IOPS、スループット(MB/s)を割当した場合の東京リージョンの⽉額料⾦ ※1 GP2におけるボリュームあたりの上限
22.
パフォーマンス検証
23.
実際に検証してみた 検証環境 • インスタンスタイプ︓c6g.medium • OS︓Amazon
Linux 2 • ブートボリュームとは別に gp3 ボリュームをアタッチ • 100GB、3,000IOPS、125MB/s • IOPS、スループットを変更して確認 • fio で16kBブロックで継続的に書き込み
24.
実際に検証してみた 設定 3,000 IOPS 125MB/s IOPS
25.
実際に検証してみた 設定 3,000 IOPS 125MB/s 設定 16,000 IOPS 125MB/s IOPS
26.
実際に検証してみた 設定 3,000 IOPS 125MB/s 設定 16,000 IOPS 125MB/s ->
8,000で頭打ち IOPS
27.
実際に検証してみた 設定 16,000 IOPS 125MB/s -> スループットがボトルネックに スループット
28.
実際に検証してみた 設定 16,000 IOPS 250MB/s IOPS
29.
実際に検証してみた 設定 16,000 IOPS 250MB/s IOPS 30分経過後2,500IOPSに低下
30.
実際に検証してみた なぜ30分経過後にIOが低下する理由
31.
実際に検証してみた 公式ドキュメントより 「これらのインスタンスタイプでは、最⼤パフォーマンスを 24 時間につき少なくとも
30 分間維持 することができます。ワークロードの最⼤パフォーマンスを 30 分以上維持する必要がある場合は、 以下に⽰されているようにベースラインパフォーマンスに基づいて、インスタンスタイプを選択しま す。」 https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-optimized.html
32.
まとめ 新しいEBSボリュームタイプ gp3、io2 Block
Express、EC2のインス タンスタイプ R5b により EC2 のブロックストレージ性能が向上 新たに登場した gp3 ボリュームタイプ • 性能とコスト効率に優れた gp2 の正統進化 • 今後のEC2ストレージの第⼀選択肢 • パフォーマンスを引き出すためにはボトルネックに注意 • ボリュームとしての最⼤IOPS、スループット • インスタンス単位での最⼤IOPS、スループット
33.
33
Download