Building Scalable Application on the Cloud
12 likes5,784 views
2016年3月19日に開催されたInnovation Eggでお話した際の資料です
Building Scalable Application on the Cloud
- 1. Building Scalable Application on the Cloud Keisuke Nishitani (@Keisuke69) Amazon Web Services Japan K.K.
- 2. Profile Keisuke Nishitani Solutions Architect, Amazon Web Service Japan K.K @Keisuke69 Keisuke69 ✤ AWSのソリューションアーキテクト ✤ Webサービス系 ✤ モバイル系 ✤ クラウドを使ったアプリ開発とかモバイル開発の話しをよくしてい ます ✤ モバイルニンジャ1号機 ✤ RESTおじさん ✤ Lambda Wizards ✤ 餃⼦の王将エヴァンジェリスト（⾃称） ✤ ブログ: http://keisuke69.hatenablog.jp/ Keisuke69 Keisuke69Keisuke69
- 4. Every day is still Day One 「我々はこの先の⻑い道のりから⾒るとStill Day One(まだ1⽇⽬)です。 まだ朝⾷も⾷べていません。」
- 5. 今⽇のお話
- 7. クラウドネイティブ
- 8. クラウドネイティブ = スケーラブル but スケーラブル ≠ クラウドネイティブ
- 9. クラウドネイティブ？ Photo credit: Samer AlQaisi via VisualHunt / CC BY-SA
- 14. The 12 Factor App
- 15. The 12 Factor App ✤モダンなWebアプリケーション開発のための⽅法論 ✤直接的にクラウドと関連する話しではないが⼀読しておくべき ✤URL http://12factor.net/ http://12factor.net/ja/（⽇本語訳）
- 16. The 12 Factor App ✤Codebase - コードベース - ✤バージョン管理されている1つのコードベースと複数のデプロイ ✤Dependencies - 依存関係 - ✤依存関係を明⽰的に宣⾔し分離する ✤環境に依存しないこと ✤Config - 設定 - ✤設定を環境変数に格納する ✤設定などの環境によって異なる可能性があるものはOSレベルの環境変数によって注⼊ されるべきである ✤Backing services - バックエンドサービス - ✤バックエンドサービスをアタッチされたリソースとして扱う ✤データベースやメッセージブローカーといったものはアタッチされたリソースとして 扱う
- 17. The 12 Factor App ✤Build, release, run - ビルド、リリース、実⾏ - ✤ビルド、リリース、実⾏の3つのステージを厳密に分離する ✤Process - プロセス - ✤アプリケーションを1つもしくは複数のステートレスなプロセスとして実⾏す る ✤プロセス間で何も共有はしない ✤Port binding - ポートバインディング - ✤ポートバインディングを通してサービスを公開する ✤Concurrency - 並⾏性 - ✤プロセスモデルによってスケールアウトする ✤⽔平⽅向へのプロセスのスケールアウトによって並⾏性を担保する
- 18. The 12 Factor App ✤Disposability - 廃棄容易性 - ✤⾼速な起動とグレースフルシャットダウンで堅牢性を最⼤化する ✤Dev/prod parity - 開発/本番⼀致 - ✤開発、ステージング、本番環境をできるだけ⼀致させた状態を保つ ✤CI/CDは各環境が揃っていることで実現される ✤Log - ログ - ✤ログをイベントストリームとして扱う ✤中央集権的なサービスによってイベントを集約、インデックス化し分析する環 境が実現される ✤Admin processes - 管理プロセス - ✤管理タスクを1回限りのプロセスとして実⾏する
- 19. Microservices Photo credit: wildxplorer via Visual hunt / CC BY
- 20. Microservices Architecture The microservice architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are built around business capabilities and independently deployable by fully automated deployment machinery. There is a bare minimum of centralized management of these services, which may be written in different programming languages and use different data storage technologies. -- James Lewis and Martin Fowler
- 21. 9つのポイント ✤Componentization via Services ✤Organized around Business Capabilities ✤Products not Projects ✤Smart endpoints and dumb pipes ✤Decentralized Governance ✤Decentralized Data Management ✤Infrastructure Automation ✤Design for failure ✤Evolutionary Design
- 24. The Amazon Way Photo credit: jurvetson via Visual Hunt / CC BY
- 26. 2 Pizza Rule AMAZON CONFIDENTIAL
- 27. Two Pizza Team ✤作るものに対する全てを負う ✤プロダクト計画(ロードマップ) ✤開発 ✤運⽤ ✤サポート ✤You build it, you run it ✤DevOps 27
- 29. アプリケーションの実装パターン
- 36. Retry ✤失敗は⼀時的なものが多いのでシンプルにリトライすることで成功す ることが多い ✤スロットリングに対する対応も同様 ✤エラーが起きたら、少し待った上でリトライする ✤Exponential back offもしくはフィボナッチ数列を利⽤したリトライ間 隔の調整を⾏う ✤Exponential back off ••• リトライ間隔を指数関数的に⻑くしていくアルゴリズ ム ✤無制限にリトライするのではなくどこかでエラーとして判断すること が必要
- 42. AWS上で構築する場合のパターン ✤API Gateway + Lambda ✤EC2 + ECS ✤EC2 + Elastic Beanstalk ✤EC2 + ELB + ASG + Runtime
- 43. AWS上で構築する場合のパターン ✤API Gateway + Lambda ✤EC2 + ECS ✤EC2 + Elastic BeanStalk ✤EC2 + ELB + ASG + Runtime
- 44. API Gateway + Lambda ✤サーバレスアーキテクチャ ✤ELB/EC2を使わずAPI Gatewayと Lambdaで応答 ✤Lambdaファンクションから各AWSサー ビスを利⽤ ✤EC2を利⽤した別システムへのアクセス も当然可能 ✤運⽤/構築/開発からの解放 ✤コスト効率が⾼く、多くの場合コス ト減に Lambda API Gateway AWSサービス S3 CloudFront
- 45. Amazon API Gateway 複数バージョンや複数環境 へのデプロイを管理 APIの定義とホスティング クラウド上のリソースへのアクセ ス認証におけるAWS IAMの活⽤ AWSのAuthを活⽤ バックエンド保護のため のDDoS対策やリクエス トのスロットリング ネットワークトラフィックの管理 開発者がAPIの運⽤を気にせずに作成、公開することを可能にするサービス
- 46. Amazon API Gateway 複数バージョンとステージ APIキーの作成と配布 リクエスト時におけるAWS SigV4の利⽤ リクエストのスロットリングとモニタリング バックエンドとしてAWS Lambdaが利⽤可能
- 47. Amazon API Gateway レスポンスをキャッシュ可能 CloudFrontを利⽤したレイテンシの軽減とDDoS対策 iOS、AndroidとJavaScript向けSDKの⾃動⽣成 Swaggerのサポート Request / Responseにおけるデータ変換
- 48. Amazon API Gateway レスポンスをキャッシュ可能 CloudFrontを利⽤したレイテンシの軽減とDDoS対策 iOS、AndroidとJavaScript向けSDKの⾃動⽣成 Swaggerのサポート Request / Responseにおけるデータ変換
- 51. AWSのサービスと連携可能 ✤Amazon S3 ✤Amazon Kinesis ✤Amazon DynamoDB ✤Amazon Cognito ✤Amazon SNS ✤Alexa AppKit ✤Amazon SWF ✤Amazon SES inbound mail ✤Amazon CloudWatch Events ✤Amazon CloudWatch Logs ✤Amazon Connected Home ✤AWS IoT ✤AWS CodePipeline ✤AWS CodeDeploy ✤AWS CloudFormation
- 56. 「何をするか」 を書くだけでいい
- 57. 「何をするか」 を書くだけでいいAll you need is code.
- 58. However
- 59. You need more flexibility?
- 60. Use container.
- 61. You need longer timeout?
- 62. Use container.
- 63. AWS上で構築する場合のパターン ✤API Gateway + Lambda ✤EC2 + ECS ✤EC2 + Elastic BeanStalk ✤EC2 + ELB + ASG + Runtime
- 64. What are containers? ✤プロセスの隔離 ✤イメージ ✤⾃動化 Server Guest OS Bins/Libs Bins/Libs App2App1
- 66. Containerのメリット ⼀貫性のある環境 ⾼い⽣産性 バージョン管理 効率的な オペレーション
- 68. FROM ubuntu:14.04 MAINTAINER John Doe <jdoe@example.com> RUN apt-get update && apt-get install -y curl wget default-jre git RUN adduser --home /home/sinatra --disabled- password --gecos '' sinatra RUN adduser sinatra sudo RUN echo '%sudo ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers USER sinatra RUN curl -sSL https://get.rvm.io | bash -s stable RUN /bin/bash -l -c "source /home/sinatra/.rvm/scripts/rvm" RUN /bin/bash -l -c "rvm install 2.1.2" RUN /bin/bash -l -c "gem install sinatra" RUN /bin/bash -l -c "gem install thin" Package
- 70. docker runRun
- 72. $ docker run myimage Server Guest OS Bins/Libs Bins/Libs App2App1
- 74. Amazon EC2 Container Service (ECS) ✤Dockerコンテナを複数のEC2インスタンスに分散配置できる ✤⼀時的な計算処理にも、ロングランニングな処理にも対応 ✤ELB連携など各種AWSサービスとの親和性 ✤Amazon ECS⾃体の利⽤は無料 複数のコンテナをEC2のクラスタ上で⼀元管理できるサービス
- 75. Cluster Management Engine Agent Communication Service API Key/Value Store Amazon ECS AZ ECS Agent Container Instance Task Container Task Container Docker AZ ECS Agent Container Instance Task Container Task Container Docker ECS Agent Container Instance Task Container Task Container Docker ELB ELB User/Scheduler
- 78. AWSサービスとの連携 ✤Elastic Load Balancing ✤Amazon Elastic Block Store ✤Amazon Virtual Private Cloud ✤AWS Identity and Access Management ✤AWS CloudTrail
- 80. AWS上で構築する場合のパターン ✤API Gateway + Lambda ✤EC2 + ECS ✤EC2 + Elastic BeanStalk ✤EC2 + ELB + ASG + Runtime
- 81. 普通の話なんで割愛
- 82. おまけ Photo credit: marcopako via VisualHunt.com / CCBY-SA
- 83. 忘れちゃいけないDevOps Photo credit: www.pierrelognoul.be via Visualhunt.com / CC BY-ND
- 84. 11.6秒 1,079 10,000 30,000 Amazon.comにおけるデプロイ
- 88. AWS CodePipeline ✤リリースプロセスの定義 ✤⾃社システムとのインテグレーション ✤パイプラインステータスの可視化 ✤各リリースの⼀貫した検証 Amazonと同様の継続的デリバリとリリース⾃動化 Build 1) Build 2) Unit test 1) Deploy 2) UI test Source Beta Production 1) Deploy 2) Perf test Gamma 1) Deploy canary 2) Deploy region 1 3) Deploy region 2 1) Pull
- 89. AWS CodeDeploy ✤簡単で信頼性の⾼いデプロイを実現 ✤簡単にスケール ✤あらゆるサーバにデプロイ可能 Test CodeDeployv1, v2, v3 Production Dev リビジョン deployment groups
- 90. AWS CodeCommit ✤S3上に⽤意されたGitプライベートリポジトリ ✤⼀般的なGitのツールを利⽤可能 ✤Amazon S3とDynamoDBを利⽤したスケーラビリティ、可⽤性と信頼性 ✤ユーザ固有のキーで全リポジトリを⾃動的に暗号化 git pull/push CodeCommit Git objects in Amazon S3 Git index in Amazon DynamoDB Encryption key in AWS KMS SSH or HTTPS
- 92. 参考資料 ✤ Martin Fowlerのブログ ✤ Microservices http://martinfowler.com/articles/microservices.html ✤ Microservices Premium http://martinfowler.com/bliki/MicroservicePremium.html ✤ THE TWELVE-FACTOR APP http://12factor.net/ http://12factor.net/jp/ (⽇本語) ✤ AWS関連 ✤ Amazon API Gateway http://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/welcome.html ✤ AWS Lambda http://docs.aws.amazon.com/ja_jp/lambda/latest/dg/welcome.html ✤ Amazon ECS http://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html ✤ AWS CodePipeline http://docs.aws.amazon.com/en_us/codepipeline/latest/userguide/welcome.html ✤ AWS CodeDeploy http://docs.aws.amazon.com/codedeploy/latest/userguide/welcome.html ✤ AWS CodeCommit http://docs.aws.amazon.com/codecommit/latest/userguide/welcome.html ✤ AWSクラウドサービス活⽤資料集 https://aws.amazon.com/jp/aws-jp-introduction/ ✤ AWS re:Invent 2015 スライド http://www.slideshare.net/AmazonWebServices/tag/reinvent2015 ✤ Exponential Backoff and Jitter https://www.awsarchitectureblog.com/2015/03/backoff.html