Jawsdays2018 - The cost driven aws cloud architecture design
- 1. Cost-Driven AWS クラウドアー キテクチャデザインとコスト最 適化方法 Ryu Hanjin, AWSKRUG Datascience団体
- 2. 自己紹介 ▪ Cloud Architect, Eland Group Elandmall (Ecommerce), MyNB (CRM App) など B2CサービスをAWS上で構築・運営中 ▪ 韓国AWSユーザグループ（AWSKRUG) データサイエンス支部 アーキテクチャ支部 グロ、シンチョン支部 ▪ 好きなAWSサービス Elastic Load Balancing Amazon Athena Amazon S3 Amazon CloudFront Amazon RDS Eland Group : http://eland.co.kr/ AWSKRUG : https://www.facebook.com/groups/awskrug/
- 3. ▪ どうすればコストパフォマンスの良いサービスを作れるか? ▪ 重要AWSサービスの課金体系 ▪ 費用効率的なアーキテクチャと秘訣 ▪ ただし、適用可能な部分から適用しよう！ ▪ 大事なのは制限された時間内にビジネス目標を達成するサービスを作ること ▪ 慣れた技術スタックで可能なところから徐々に改善 Agenda Lean Startup : https://en.wikipedia.org/wiki/Lean_startup Agile Software Development : https://en.wikipedia.org/wiki/Agile_software_development
- 4. ▪ Free tier ▪ 12ヶ月間無料: t2.micro(1 vCPU, 1GB RAM) EC2(750時間) , RDS(750時間)など ▪ 常に無料: DynamoDB, CloudWatch など ▪ AWS セミナーへ積極的に参加 ▪ 無料教育 ▪ 実習用クレジットを獲得 ▪ Free tier + Credit で実装 ▪ 無料枠内でサービスをテスト ▪ wordpress のような簡単なサービスは無料で使用可能 AWS初心者の場合 – 個人ユーザ Free tier : https://aws.amazon.com/jp/free/ AWS Seminar : https://aws.amazon.com/jp/about-aws/events/2017/awsomeday/
- 5. ▪ Matching Supply and Demand ムダのない使用 ▪ Demand-based ▪ Buffer-based ▪ Time-based ▪ Cost-Effective Resources 費用効率的なリソース使用 ▪ Appropriate provisioning ▪ Right sizing ▪ Purchasing options ▪ Geographic selection ▪ Managed services Cost Optimization Pillar AWS Well-Architected Framework AWS Cost Optimization Pillar : https://d1.awsstatic.com/whitepapers/architecture/AWS-Cost-Optimization-Pillar.pdf AWS Cost Optimization : https://aws.amazon.com/jp/pricing/cost-optimization/?nc1=h_ls ▪ Expenditure Awareness 支出を意識する ▪ Stakeholders ▪ Visibility and controls ▪ Cost attribution ▪ Tagging ▪ Entity lifecycle tracking ▪ Optimizing Over Time 継続的な最適化 ▪ Measure, monitor, and improve ▪ Staying ever green
- 6. AWSの費用構造 Allocating Size Traffic Amazon EC2 AWS Lambda Amazon S3 Amazon RDS Amazon DynamoDB Amazon ElastiCache Free Amazon ECS Amazon EBS Amazon Redshift Amazon EMR Amazon SNS Amazon SQS Amazon MQ Amazon CloudFront そしてデータ転送課⾦ Amazon CloudWatch Systems Manager AWS CloudFormation IAM Amazon Athena Amazon Route 53 Amazon Kinesis Amazon API Gateway AWS IoT Amazon Lex
- 7. ▪ ビジネス・性能目標を達成しながらの最小化 • Allocating Size • データ転送 ▪ その結果、費用最適化アーキテクチャを実現 • 柔軟なアーキテクチャ • キャッシングを最大限活用するアーキテクチャ AWSの費用最適化
- 8. AWSの費用構造 Allocating Size Traffic AWS Lambda Amazon S3 Amazon DynamoDB Amazon ElastiCache Free Amazon ECS Amazon EBS Amazon Redshift Amazon EMR Amazon SNS Amazon SQS Amazon MQ そしてデータ転送 Amazon CloudWatch Systems Manager AWS CloudFormation IAM Amazon Athena Amazon Route 53 Amazon Kinesis Amazon API Gateway AWS IoT Amazon Lex Amazon EC2 Amazon RDS Amazon CloudFront
- 10. ▪ Appropriate provisioning 適切な容量設定 ▪ CloudWatchを用いた自動拡張 ▪ 予想された大量トラフィックに備えた スケジューリング拡張 ▪ Right Sizing 適切な容量選択 • 負荷テストからインスタンスサイ ズ別TPSを検討 • リソース使用量に基づき定期的に 容量を調整 • 同じインスタンスタイプを使用, Linuxをオススメ 1. EC2最適化
- 11. ▪ Open Source OSは EC2の費用削減に役に立つ ▪ 秒単位課金はライセンスフリーOS使用時のみ適用 ▪ Reserved InstanceのFlexibilityも同じ ▪ 主に使用されるWindowsサーバーはLinuxサーバーの1.7 ~ 2倍価格 Open Sourceを積極的に利用 – EC2 https://aws.amazon.com/blogs/aws/new-instance-size-flexibility-for-ec2-reserved-instances/ 購買オプション Instance Type Linuxインスタンス対比 Windowsインスタンス費用 On-Demand M4.large 171% c4.xlarge 174% Reserved (1year, Standard, all upfront) M4.large 214% c4.xlarge 199%
- 12. ▪ Red Hat 7 / CentOS 7と類似 ▪ 現在candidateバージョンが公開。公式LTSビルド発表後５年間長期サポート提 供 ▪ オンプレミス環境でも使用可能 Docker container imageとVMware, Hyper-V, VirtualBoxのvirtual machine imagesを提供 ▪ AWS Integration ▪ Amazon Linuxは 2017.09 で最後の最後のリリーズ ▪ 今後２年間セキュリティアップデートを提供 ▪ 現在Amazon Linux 2へのマイグレーションをAWSはオススメしている Amazon Linux 2 https://aws.amazon.com/jp/amazon-linux-2/?nc1=h_ls
- 13. ▪ 常に使用されるリソースは Reserved Instanceを利用 ▪ OSはLinuxを使用。同じインスタンスタイプで統一 (汎用 t2, m4系) ▪ でもワークロードに合うタイプを選択するのが一番重要 (メモリ r4, コン ピューティング c4 など) 購買オプション – Reserved Instance https://aws.amazon.com/jp/ec2/pricing/reserved-instances/pricing/?nc1=h_ls ▪ ただし、一日中使用時間に よってRI購買とインスタン ススケジューリングのうち どっちがもっと費用効率的 なのかを考慮して適用
- 14. ▪ 中断可能な作業は Spot Instanceを使用 ▪ バッチ、テストなとに積極的に利用 ▪ Spot Fleet(分散入札), Spot block (6時間まで確定利用) 購買オプション – Spot Instance https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/spot-interruptions.html ▪ Spot Instance Stop/Start可能 ▪ Stopされた Spot Instanceを ハイバネートモードに転換可 能
- 15. ▪ EC2はAuto Scalingを利用して簡単に プロビジョニング可能 ▪ しかし、Relational Databaseは、オン ラインMaster変更が不可能 ▪ ビジネス/サービスの使用量の成長 に合わせてRDSは、ますますサイズ が大きくなって柔軟化が難しい 2. RDS最適化
- 16. ▪ 柔軟化されていない巨大な商用DBは大きなコスト負担 ▪ RDSは、商用DBに機能制約が存在 ▪ Oracle DBはRACがない ▪ SQL ServerはAlways On機能を提供しない (EC2構成時は可能) ▪ Open Source DBはRead Replicaで参照性能拡張可能 ▪ Aurora MySQL, PostgreSQL ▪ Aurora Multi-master Open Sourceを積極利用 – RDS 購買オプション Instance Type BYOL RDS 対比 Oracle RDS 費用 On-Demand db.m4.large 190% db.r3.4xlarge 199% Reserved (1year, Standard, all upfront) db.m4.large 213% db.r3.4xlarge 181%
- 17. ▪ DBの負荷を減らすアーキテクチャ ー ▪ in-memory基盤 DB cache • Web Cache • CDN Cache • CloudFront • いろんな Cacheで使用可能 • トラフィック費用削減効果 3. Cache適用 https://aws.amazon.com/jp/caching/?nc1=h_ls
- 18. ▪ 予期せぬトラフィックの急増は、 EC2では対応が難しい ▪ EC2にサービスが上がるのに５分 以上かかる ▪ Serverlessは即時対応可能 ▪ API Gatewayと Lambdaを活用し スパイク性トラフィックに対応 ▪ 事前プロビジョニング必要なし (ただし、コールドスタートには注 意) 4. Serverless導入
- 19. ▪ 費用最適化アーキテクチャを実現 ▪ 柔軟なアーキテクチャ ▪ キャッシングを最大限活用するアーキテクチャ ▪ 最適化 ▪ EC2最適化 ▪ RDS最適化 ▪ Cache適用 ▪ Serverless導入 Summery