Upload
Download free for 30 days
Login
Submit Search
20190905 aws well-architected_framework_seminar_costoptimization
0 likes
683 views
Y
Yoshii Ryo
2019年9月5日 クラスメソッド主催 AWS Well-Architected 活用術セミナー コスト最適化
Internet
Read more
1 of 61
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
More Related Content
PDF
20120914 aws summit_lt
Kazuaki Fujikura
PDF
Devio mtup11-tokyo-012
Yusuke Takahashi
PDF
cross2012a fujya
Kazuaki Fujikura
PDF
体で覚えるSQS! DEVIO-MTUP11-TOKYO-007
都元ダイスケ Miyamoto
PDF
RDS(MySQL)の利用と注意点
Hiroyasu Suzuki
PDF
はじめてのアマゾンクラウド⑥ Amazon rdsでデータベースを起動
SORACOM, INC
PDF
Amazon RDS (MySQL) 入門
Manabu Shinsaka
PDF
cloudpack導入資料(20120302版)
iret, Inc.
20120914 aws summit_lt
Kazuaki Fujikura
Devio mtup11-tokyo-012
Yusuke Takahashi
cross2012a fujya
Kazuaki Fujikura
体で覚えるSQS! DEVIO-MTUP11-TOKYO-007
都元ダイスケ Miyamoto
RDS(MySQL)の利用と注意点
Hiroyasu Suzuki
はじめてのアマゾンクラウド⑥ Amazon rdsでデータベースを起動
SORACOM, INC
Amazon RDS (MySQL) 入門
Manabu Shinsaka
cloudpack導入資料(20120302版)
iret, Inc.
What's hot
(20)
PDF
負荷対策はCloudFront
iret, Inc.
PDF
cloudpack導入資料(2011/09/01版)
iret, Inc.
PDF
日本のお客様におけるAmazon Auroraへの移行・検証事例と技術ポイント
Amazon Web Services Japan
PPT
Amazon ec2 spot instance
Tadashi Satoh
PDF
Rds徹底入門
Junpei Nakada
PDF
CEDEC2015_OpenStack で運用する Private Cloud の泥臭い(リアル)な話
gree_tech
PDF
はじめてのAmazon Aurora
Jun Okubo
PDF
MSPとしてのオペチー向けReadOnly IAMポリシー
Makoto Miida
PPTX
0808 jawsug-kobe | スポットインスタンスを使ったEC2でのスケーラブル負荷検証
Yukihiko SAWANOBORI
PDF
Amazon ElastiCache fro Redis Q&A
Amazon Web Services Japan
PPTX
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
株式会社スカイアーチネットワークス
PPTX
20191115_Cloud Front
yamamotomsc
PDF
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
Shuji Kikuchi
PDF
10分でできる!vpsサービスAmazon lightsailを使いこなす
Shuji Kikuchi
PDF
JenkinsのAWS連携
株式会社スカイアーチネットワークス
PDF
負荷試験入門公開資料 201611
樽八 仲川
PDF
テレワークに AWS を活用するパターン集
Yoshii Ryo
PPTX
CloudWatch(+sns+sqs)で障害対応を自動化してみた
Terui Masashi
PDF
AWSマイスターシリーズ Instance Store(Ephemeral Disk) & Elastic Block Store
Amazon Web Services Japan
PDF
【改訂版】Amazon Web Service 基本の「き」 ~Amazon EC2でWebサーバを公開してみよう!~
Masaru Tomonaga
負荷対策はCloudFront
iret, Inc.
cloudpack導入資料(2011/09/01版)
iret, Inc.
日本のお客様におけるAmazon Auroraへの移行・検証事例と技術ポイント
Amazon Web Services Japan
Amazon ec2 spot instance
Tadashi Satoh
Rds徹底入門
Junpei Nakada
CEDEC2015_OpenStack で運用する Private Cloud の泥臭い(リアル)な話
gree_tech
はじめてのAmazon Aurora
Jun Okubo
MSPとしてのオペチー向けReadOnly IAMポリシー
Makoto Miida
0808 jawsug-kobe | スポットインスタンスを使ったEC2でのスケーラブル負荷検証
Yukihiko SAWANOBORI
Amazon ElastiCache fro Redis Q&A
Amazon Web Services Japan
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
株式会社スカイアーチネットワークス
20191115_Cloud Front
yamamotomsc
[AKIBA.AWS] EC2の基礎 - パフォーマンスを100%引き出すオプション設定 -
Shuji Kikuchi
10分でできる!vpsサービスAmazon lightsailを使いこなす
Shuji Kikuchi
JenkinsのAWS連携
株式会社スカイアーチネットワークス
負荷試験入門公開資料 201611
樽八 仲川
テレワークに AWS を活用するパターン集
Yoshii Ryo
CloudWatch(+sns+sqs)で障害対応を自動化してみた
Terui Masashi
AWSマイスターシリーズ Instance Store(Ephemeral Disk) & Elastic Block Store
Amazon Web Services Japan
【改訂版】Amazon Web Service 基本の「き」 ~Amazon EC2でWebサーバを公開してみよう!~
Masaru Tomonaga
Ad
Similar to 20190905 aws well-architected_framework_seminar_costoptimization
(20)
PDF
20190604 aws well-architected_tool_seminar_detail
Yoshii Ryo
PDF
クラウドTCOの真実
SORACOM, INC
PPTX
Jawsdays2018 - The cost driven aws cloud architecture design
Han Jin Ryu
PPTX
Jawsdays2018 - The cost driven aws cloud architecture design
Han Jin Ryu
PDF
コスト削減から考えるAWSの効果的な利用方法
Aya Komuro
PDF
[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス
Amazon Web Services Japan
PPTX
コスト最適化アプローチ(ElastiCacheの攻略)Mometo会北海道.pptx
ssuserbefd24
PPTX
Jaws kagoshima 20191028
Kameda Harunobu
PDF
Aws提案して、採用されました〜小規模webサービス編
彰 内山
PDF
AWS Black Belt Online Seminar 2016 クラウドのためのアーキテクチャ設計 -ベストプラクティス-
Amazon Web Services Japan
PDF
Migration to AWS part2
Kameda Harunobu
PDF
IVS CTO Night And Day 2018 Winter - AWS Well-Architected Framework
Amazon Web Services Japan
PDF
[CTO Night & Day 2019] AWS のコスト最適化 #ctonight
Amazon Web Services Japan
PDF
Cloud on the_beach_aws入門_公開
Hideki Ojima
PDF
[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス
Amazon Web Services Japan
PPTX
AWS Nightschool20180618
Kameda Harunobu
PDF
20170621 aws-black belt-ads-sms
Amazon Web Services Japan
PDF
20130326 aws meister-reloaded-windows
Amazon Web Services Japan
PDF
賢くチェックするAWSの明細
Kieko Sakurai
PDF
20180522 AWS Black Belt Online Seminar 失敗例を成功に変えるアンチパターン
Amazon Web Services Japan
20190604 aws well-architected_tool_seminar_detail
Yoshii Ryo
クラウドTCOの真実
SORACOM, INC
Jawsdays2018 - The cost driven aws cloud architecture design
Han Jin Ryu
Jawsdays2018 - The cost driven aws cloud architecture design
Han Jin Ryu
コスト削減から考えるAWSの効果的な利用方法
Aya Komuro
[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス
Amazon Web Services Japan
コスト最適化アプローチ(ElastiCacheの攻略)Mometo会北海道.pptx
ssuserbefd24
Jaws kagoshima 20191028
Kameda Harunobu
Aws提案して、採用されました〜小規模webサービス編
彰 内山
AWS Black Belt Online Seminar 2016 クラウドのためのアーキテクチャ設計 -ベストプラクティス-
Amazon Web Services Japan
Migration to AWS part2
Kameda Harunobu
IVS CTO Night And Day 2018 Winter - AWS Well-Architected Framework
Amazon Web Services Japan
[CTO Night & Day 2019] AWS のコスト最適化 #ctonight
Amazon Web Services Japan
Cloud on the_beach_aws入門_公開
Hideki Ojima
[AWSマイスターシリーズ] リザーブドインスタンス&スポットインスタンス
Amazon Web Services Japan
AWS Nightschool20180618
Kameda Harunobu
20170621 aws-black belt-ads-sms
Amazon Web Services Japan
20130326 aws meister-reloaded-windows
Amazon Web Services Japan
賢くチェックするAWSの明細
Kieko Sakurai
20180522 AWS Black Belt Online Seminar 失敗例を成功に変えるアンチパターン
Amazon Web Services Japan
Ad
More from Yoshii Ryo
(8)
PDF
テレワークに AWS を活用するパターン集
Yoshii Ryo
PDF
Aws well architected-framework_seminar_overview
Yoshii Ryo
PDF
re:Growth2019 IAM/S3 Access Analyzer
Yoshii Ryo
PDF
障害に備えたアーキテクチャを考える
Yoshii Ryo
PDF
20190905 aws well-architected_framework_seminar_service_eventattokyoregion
Yoshii Ryo
PDF
導入事例_継続的セキュリティチェック成功体験
Yoshii Ryo
DOCX
JDEdwards EnterpriseOne ユーザーアカウント登録手順
Yoshii Ryo
DOCX
JDEdwards EnterpriseOne パスワードポリシー設定手順書
Yoshii Ryo
テレワークに AWS を活用するパターン集
Yoshii Ryo
Aws well architected-framework_seminar_overview
Yoshii Ryo
re:Growth2019 IAM/S3 Access Analyzer
Yoshii Ryo
障害に備えたアーキテクチャを考える
Yoshii Ryo
20190905 aws well-architected_framework_seminar_service_eventattokyoregion
Yoshii Ryo
導入事例_継続的セキュリティチェック成功体験
Yoshii Ryo
JDEdwards EnterpriseOne ユーザーアカウント登録手順
Yoshii Ryo
JDEdwards EnterpriseOne パスワードポリシー設定手順書
Yoshii Ryo
20190905 aws well-architected_framework_seminar_costoptimization
1.
コスト最適化 編
2.
始める前に AWS Well-Architected は長いので本資料ではところどころで W-A
に略して表記します。 ご了承ください。
3.
2W-A コスト最適化の柱
4.
3 コストにフォーカスしたポリシー
5.
4ポリシー コストにフォーカスしたポリシーを決定します。 プロジェクト毎 or システム毎に予算が決まっていると思います。 その予算を超えないような取り組みをします。 ✔
開発環境は本番環境の 1/n のサイズにする ✔ 開発環境は t2/3系インスタンスを使用する ✔ 開発環境のサービス起動時間は平日日中帯に限定する ✔ 開発環境は北米リージョンを使用する (東京に比べ割安) ✔ 負荷試験など例外時には一時的にスケールアップを許可 ✔ 本番以外の環境(開発/ステージング)の利用期間を定める
6.
5サービス起動時間は平日日中帯に限定する 例) EC2の場合 ・東京リージョンで m5.xlarge
(Linux) を 24時間 31日 稼働した場合 0.248USD * 24h * 31days = 184.512USD ・東京リージョンで m5.xlarge (Linux) を 10時間 22日 稼働した場合 0.248USD * 10h * 22days = 54.56USD
7.
6EC2インスタンスを定時起動停止する方法 ■ OpSwitch (クラスメソッドのサービス) AWSの定型作業スケジュール実行サービス。 ウェブ画面から簡単に設定を行うことが可能です。 https://opswitch.io/ ■
AWS Instance Scheduler AWS が提供しているテンプレートを実行すると EC2インスタンスの起動停止をスケジュールする機能が実装されます。 https://aws.amazon.com/jp/solutions/instance-scheduler/?trk=sl_card
8.
7北米リージョンを使用 バージニア北部、オレゴン、オハイオは東京リージョンに比べると 利用料金が割安です。 ネットワークレイテンシが気にならないシステムや 開発検証環境で利用を検討します。 東京リージョン オレゴンリージョン 23% 削減
9.
8 コストにフォーカスした AWS アカウント構造
10.
9AWSアカウント構造 コストを管理しやすいアカウント構造にします。 一つのAWSアカウント上で複数のシステムが稼働している場合、 システム毎のコストを算出することが困難になります。 システム毎、利用部門毎、プロジェクト毎など様々なコスト観点で AWSアカウントを分割します。
11.
10アカウント分割例 旗艦アカウント 開発環境 ステージング環境 本番環境 外部公開サイト ログ集約アカウント マーケティング部 アカウント セキュリティ統制アカウント
12.
11 コストにフォーカスした IAM
13.
12IAMポリシーによるコストコントロール AWSは比較的容易にリソースを作成することが可能です。 これはポジティブな要素ですが、想定外のコスト増を招く要素でもあり ます。 IAMポリシーを必要最低限に制限し、必要な権限を持った担当者だけが リソースを作成可能にします。
14.
13IAMグループ例 Administrators 全ての操作が実行可能。 プロジェクトやシステムの責任者が持つ権限。 Developers EC2
インスタンスの起動停止、Lambda 関数のデプロイなど システム開発に必要な権限を付与。 Network Admin VPC 関連の操作権限を付与。 Database Admin RDS 関連の操作権限を付与。
15.
14 コストのモニタリング
16.
15コストのモニタリング コストをモニタリングします。 AWS 請求およびコスト管理コンソール でモニタリングしますが デフォルトでは
root ユーザーのみアクセスとなっています。 IAM ユーザー/ロールによる請求情報へのアクセスを有効します。 https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/grantaccess.ht ml コストをモニタリングします。 AWS 請求およびコスト管理コンソール でモニタリングしますが デフォルトでは root ユーザーのみアクセスとなっています。 IAM ユーザー/ロールによる請求情報へのアクセスを有効します。 https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/grantaccess.ht ml
17.
16請求情報とコスト管理ダッシュボード
18.
17請求 詳細 各リソースごとの 選択月の料金を確認 どのリソースが コストを引き上げているか?
19.
18Cost Explorer Cost Explorer
でコスト分析 今月初めから今日までのコスト 今月末の予測 コスト傾向 特定サービスでコスト増大など
20.
19Cost Explorer フィルターを駆使して独自の切り口でコスト分析 (フィルター例) リージョン サービス インスタンスタイプ コスト配分タグ (後術) 使用タイプ
(データ転送、CloudWatch メトリックなど) etc…
21.
Cost Explorer 推奨事項 EC2インスタンスサイズの変更に より削減できる可能性がある金額 リザーブドインスタンス購入によ って削減できる可能性がある金額
22.
21コスト配分タグ リソースに付与するラベル タグでリソースを整理し コストの追跡を容易にします。 右図の例でいうと、 Widget2 というアプリケーションは 本番環境で $3.84
の料金が発生ということ がわかります。
23.
22AWS Budget 予算を計画し、発生コストと予算の比較や予測コストと予算の比較、 アラートの通知を行います 3タイプの予算を設定 ● コスト予算 指定した金額をモニター、しきい値を超えたらアラート ●
使用量予算 1つ以上のサービス使用量をモニター、アラート ● 予約予算 RI使用量をモニター、しきい値を下回ったらアラート
24.
23 コストの抑制
25.
24リソース廃止 使用しないリソースは廃止して利用料金を抑制します。 例) ・サービス終了したリソース ・テスト用途で作成したリソース ・リストアした後の各種スナップショット
26.
25Trusted Advisor
27.
26アイドル状態のインスタンスを検出 Trusted Advisor でアイドル状態のリソースを検出 →
必要がなければリソース削除
28.
27 リソースの検索
29.
28リソースにタグを付ける AWSリソースには予めタグを付けて 識別しやすいタグでグルーピングします。 プロジェクトの終了などでリソースが廃止が決定した際に タグでリソースを検索し廃止漏れがないようにします。
30.
29リソースを検索 マネジメントコンソールのタグエディターでリソースを検索
31.
30 コストの評価
32.
31コストの評価 コストの評価は利用料金だけではなくビジネス要件全体から判断。 • ビジネスKPI • アプリケーション機能 •
可用性、信頼性、ビジネス継続性 • 拡張性、パフォーマンス • 運用、保守 • セキュリティ
33.
32運用を重視してサービスを選ぶ 例えば Amazon RDS
を使うとEC2にRDBMSをインストールする場合に 比べて運用コストが下がります。 以下がAWSの管理になり、これらにかかるコストが抑えられます。 ✔ 冗長構成 ✔ バックアップリストアの仕組み ✔ 製品パッチ管理 ✔ OS管理
34.
33コストを重視してサービスを選ぶ 現行 AWS 静的WebサイトをLinuxサーバーで運用 →
S3 月に数十回しか実行しないバッチサーバー → Lambda バックアップサーバー → AWS Backup 監視サーバー → CloudWatch, Lambdaなど リレーショナルではないDB → DynamoDB 現行仮想サーバー/EC2で運用している機能もAWSサービスを使い コストを下げます。
35.
34 購入オプションを知る
36.
35EC2 インスタンス購入オプション ●[オンデマンドインスタンス] –
起動するインスタンスに対して秒単位でお支払いいただきます。 ●[リザーブドインスタンス] – 1~3 年の期間で、常に使用できるインスタンスを大幅な割引で購入し ます。 ●スケジュールされたインスタンス – 1 年の期間、指定された定期的なスケジュールで常に使用で きるインスタンスを購入します。 ●スポットインスタンス – 未使用の EC2 インスタンスをリクエストして、Amazon EC2 コストを大幅に 削減します。 ●Dedicated Hosts – 完全にインスタンスの実行専用の物理ホストに対してお支払いいただき、既存のソケ ット単位、コア単位、または VM 単位のソフトウェアライセンスを持ち込んでコストを削減できます。 ●ハードウェア専有インスタンス – シングルテナントハードウェアで実行されるインスタンスに対 して、時間単位でお支払いいただきます。 ●キャパシティーの予約 – 特定のアベイラビリティーゾーンの EC2 インスタンスに対して任意の期間 キャパシティーを予約します。
37.
36リザーブドインスタンスがあるサービス ● EC2 インスタンス ●
RDS ● ElastiCache ● Redshift
38.
リザーブドインスタンス割引例 支払い方法 前払い 毎月
実質時間単価 オンデマンドと比較 オンデマンド No Upfront 0 USD 126.29 USD 0.173 USD 30% 0.248 USD Partial Upfront 721 USD 59.86 USD 0.164 USD 34% All Upfront 1,412 USD 0 USD 0.161 USD 35% m5.xlarge スタンダード 1年 支払い方法 前払い 毎月 実質時間単価 オンデマンドと比較 オンデマンド No Upfront 0 USD 105.12 USD 0.144 USD 42% 0.248 USD Partial Upfront 1,750 USD 48.91 USD 0.134 USD 46% All Upfront 3,430 USD 0 USD 0.131 USD 47% スタンダード 3年
39.
38Reserved Instance Cost Explorer
で Reserved Instance 購入のすすめ 推奨実施した場合の節約額 どの種類の Resered Instance を どれだけ購入すれば 推奨を表示。 それによって月額で どの程度削減見込みかも 表示。
40.
39 転送料金を知る
41.
40EC2 データ転送料金 From To
料金発生 インターネット EC2 しない EC2 インターネット する EC2 CloudFront しない EC2 別リージョンEC2など する EC2 同リージョン別AZ EC2など する ※双方向 EC2 VPCピアリング先 EC2など する ※双方向 EC2 同AZ EC2など しない EC2 同リージョン S3など しない EC2 同リージョン CLB/ALB しない 詳細は公式ドキュメントを参照 https://aws.amazon.com/jp/ec2/pricing/on-demand/ 料金が発生するパターンをおさえておきましょう。(サービスごと)
42.
41S3 データ転送料金 S3のWebサイトホスティング(デジタルコンテンツの配信) • ストレージ料金 •
10MB/Content × 約100,000 Contentと仮定 • $0.025 × 1024GB = $25.5 • リクエスト料金 • 10,000,000 GETと仮定 • $0.00037/k × 10,000k = $3.7 • データ転送料金 • 10MB × 10,000,000 GET = 100TB • $0.114/GB × 10TB + $0.089/GB × 30TB + $0.086/GB × 60TB = $9185.28 • 合計:$9214.48 Amazon S3 の料金 https://aws.amazon.com/jp/s3/pricing/
43.
42データ転送量の削減 ■ CloudFront 前ページのように S3
に静的コンテンツを配置するパターンで 大きな効果を発揮します。 ■ Multi AZ 構成 EC2、RDS マスター (Active) を同じ AZ に配置。 ■ ファイル圧縮 転送する前にファイル(ディレクトリ) を圧縮。
44.
43 適切なリソースタイプを選んでコストを抑制
45.
44サイジング サイジングは勘に頼らない アプリケーションの推奨スペックに頼らない
46.
45サイジング 現行 8 Cores
Server 新サーバーも 8 Cores メトリクス (使用率) は? 最大でも 30% 新サーバーは 4 Cores でスタート
47.
46パフォーマンスメトリクスを取得 CloudWatchなどでパフォーマンスメトリクスを取得し 実際の負荷に合わせてインスタンスタイプをアップダウンさせます。 (例) ・CPU使用率が常時10%前後 → インスタンスタイプを下げる ・EBSボリューム
→ 活性拡張が可能なのでギリギリのサイズにする
48.
47簡単 CloudWatch プリセットのダッシュボードを 使ってリソース使用率を表示
49.
48簡単 CloudWatch ダッシュボード
50.
49 需要に合わせてリソースを増減
51.
50需要のトレンド ご自身が管理しているシステムが需要のピークを迎えるのは いつでしょうか? ✔ キャンペーン時 (SNS、メール、Web等) ✔
季節 (レジャー、行事) ✔ 時間帯 (ユーザー行動特性により) ✔ 業務ごと (基幹システムなら夜間バッチ、月次バッチなど)
52.
51スケーリング AWS の長所を活かしてスケールアップ/ダウン、イン/アウトします。 需要ピークに合わせてリソースを増減させ利用料金を節約します。 手動 • インスタンスタイプの変更(スケールアップ/ダウン) •
EC2インスタンスをELBに登録/登録解除 • AutoScaling Desired Countを手動で変更 自動 • AutoScalingによる自動スケーリング (スケジュール/リソースベース)
53.
52EC2 Auto Scaling アプリケーションの負荷に応じて自動的に
EC2 インスタンスを 増減させるサービスです。 指定した最小数と最大数の間でインスタンス数が調整されます。
54.
53 新サービスを評価
55.
54増え続ける AWS サービス
56.
55新サービスとコスト 新サービスにより自社システムのアーキテクチャ改善が可能になれば コストが大幅に削減出来る可能性があります。
57.
アップデートでコストが下がった例 (2018年12月3日のアップデート) 汎用 SSD (gp2)
ボリュームのパフォーマンスが 60% 向上し、10,000 IOPS から 16,000 IOPS に、ボリュームあたりのスループットが 160 MB/秒か ら 250 MB/秒になりました。 夜間データ連携時間帯にスループットが 160MB/秒で張り付いて ボトルネックになっていたのでプロビジョンド IOPS を検討、 しかし、上記アップデートでボトルネックが解消され 高価なプロビジョンド IOPS への変更は不要になった。
58.
57評価方法 1. AWS 最新リリースを情報収集、理解 2.
現行アーキテクチャの改善になるか? を検討
59.
58情報収集 ■ AWS Blog
& Podcast Category=news https://aws.amazon.com/blogs/?awsf.blog-master-category=category%23news ■ AWS Blackbelt https://aws.amazon.com/jp/aws-jp-introduction/ ■ Twitter awscloud_jp https://twitter.com/awscloud_jp ■ Release Note https://aws.amazon.com/jp/releasenotes/ ■ Developers.IO https://dev.classmethod.jp/
60.
59定期的なレビュー AWS はアップデートが頻繁に行われます。 最新情報を収集しつつ、アーキテクチャは定期的にレビューを行い 進化させていくことをお勧めします。
61.
60EOF ご静聴ありがとうございました
Download