AWSで実現するクラウドネイティブなアプリ開発のポイント
63 likes23,038 views
AWSで実現するクラウドネイティブなアプリ開発のポイント
- 1. AWSで実現するクラウドネイティブな アプリ開発のポイント #devsumiA 19-A-3 Keisuke Nishitani (@Keisuke69) Amazon Web Services Japan K.K.
- 2. Profile Keisuke Nishitani Solutions Architect, Amazon Web Service Japan K.K @Keisuke69 Keisuke69 ✤ AWSのソリューションアーキテクト ✤ Webサービス系 ✤ モバイル系 ✤ クラウドを使ったアプリ開発とかモバイル開発の話しをよくしてい ます ✤ モバイルニンジャ1号機 ✤ RESTおじさん ✤ Lambda Wizards ✤ 餃⼦の王将エヴァンジェリスト（⾃称） Keisuke69 Keisuke69Keisuke69
- 7. Networking AnalyticsCompute Storage & Content Delivery Developer Tools Management Tools Security & Identity Application Services Mobile Services Database Enterprise Applications S3 CloudFront EFS Glacier Storage Gateway API Gateway AppStream CloudSearch Elastic Transcoder SES SQS SWF Mobile AnalyticsCognito Device Farm SNS RDS DynamoDB ElastiCache RedShift WorkSpaces WorkDocs WorkMail Lambda EC2 Container ServiiceEC2 VPC Direct Connect Route53 EMR Data Pipeline Kinesis Machine Learning Elastic Load Balancing QuickSight Elasticsearch Service CodeCommit CloudWatch Cloud Formation CloudTrail Config OpsWorks Service C atalog Identity & Acc ess Managem ent Directory S ervice Trusted Advisor WAF Snowball DMS IOT IoT Game Development Mobile Hub Elastic Beanstalk ACM Inspector GameLift CodePipelineCodeDeploy
- 8. Networking AnalyticsCompute Storage & Content Delivery Developer Tools Management Tools Security & Identity Application Services Mobile Services Database Enterprise Applications CloudFront EFS Glacier Storage Gateway AppStream CloudSearch Elastic Transcoder SWF WorkSpaces WorkDocs WorkMail EC2 VPC Direct Connect Route53 EMR Data Pipeline Machine Learning Elastic Load Balancing QuickSight Elasticsearch Service CloudWatch Cloud Formation CloudTrail Config OpsWorks Service C atalog Identity & Acc ess Managem ent Directory S ervice Trusted Advisor WAF Snowball DMS IOT Game Development Elastic Beanstalk ACM Inspector GameLift Lambda EC2 Container Serviice Kinesis S3 API Gateway SES SQS CodeCommit CodePipelineCodeDeploy Mobile AnalyticsCognito Device Farm SNS RDS DynamoDB ElastiCache RedShift IoTMobile Hub
- 11. クラウドネイティブ？ Photo credit: Samer AlQaisi via VisualHunt / CC BY-SA
- 18. Microservices
- 19. Microservices Architecture The microservice architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are built around business capabilities and independently deployable by fully automated deployment machinery. There is a bare minimum of centralized management of these services, which may be written in different programming languages and use different data storage technologies. -- James Lewis and Martin Fowler
- 20. 9つのポイント ✤Componentization via Services ✤Organized around Business Capabilities ✤Products not Projects ✤Smart endpoints and dumb pipes ✤Decentralized Governance ✤Decentralized Data Management ✤Infrastructure Automation ✤Design for failure ✤Evolutionary Design
- 24. AWS上でマイクロサービスを構築する ✤API Gateway + Lambda ✤EC2 + ECS ✤EC2 + Elastic BeanStalk ✤EC2 + ELB + ASG + Runtime
- 25. ⼀般的なWebアーキテクチャ ✤ Web/APサーバはEC2で構築 ✤ ELBを配置し、オートスケーリング可能なスケーラブル構成に ✤ Webサーバは冗⻑化 ✤ DBはRDSによるMulti AZ構成、もしくはEC2上で構築 ✤ EC2等のインフラは各最低1台は常時稼働 【課題】 ✤ インフラ構築 ✤ インフラの運⽤管理 ✤ キャパシティ ✤ スケール ✤ デプロイ ✤ 耐障害性 ✤ モニタリング、ロギング ✤ セキュリティパッチの適⽤ ✤ ビジネスの差別化には直接繋がらない機能のアプリ実装 ✤ 認証 ✤ スロットリング Web （EC2） DB （RDS） LB （ELB）
- 28. サーバレスアーキテクチャ Lambda API Gateway AWSサービス S3 CloudFront クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3から配信 ✤ CloudFront経由の配信
- 29. サーバレスアーキテクチャ Lambda API Gateway AWSサービス S3 CloudFront クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3から配信 ✤ CloudFront経由の配信 ✤ ロジックはAPI化 ✤ API Gatewayを利⽤ ✤ バックエンドとしてLambdaを利⽤
- 30. サーバレスアーキテクチャ Lambda API Gateway AWSサービス S3 CloudFront クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3から配信 ✤ CloudFront経由の配信 ✤ ロジックはAPI化 ✤ API Gatewayを利⽤ ✤ バックエンドとしてLambdaを利⽤ ✤ JavaScript/iOS・AndroidはAPIを呼び出し
- 31. サーバレスアーキテクチャ Lambda API Gateway AWSサービス S3 CloudFront クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3から配信 ✤ CloudFront経由の配信 ✤ ロジックはAPI化 ✤ API Gatewayを利⽤ ✤ バックエンドとしてLambdaを利⽤ ✤ JavaScript/iOS・AndroidはAPIを呼び出し ✤ Lambdaファンクションから各AWSサービスを利⽤ ✤ 認証にはCognitoを利⽤
- 32. サーバレスアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3から配信 ✤ CloudFront経由の配信 ✤ ロジックはAPI化 ✤ API Gatewayを利⽤ ✤ バックエンドとしてLambdaを利⽤ ✤ JavaScript/iOS・AndroidはAPIを呼び出し ✤ Lambdaファンクションから各AWSサービスを利⽤ ✤ 認証にはCognitoを利⽤ ✤ API GW/LambdaともにEC2を利⽤した 別システムへのアクセスも当然可能 Lambda API Gateway AWSサービス S3 CloudFront クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ
- 33. サーバレスアーキテクチャ（2-Tier Architecture） ✤各クライアント向けSDKからの 直接操作 ✤AWSアクセスに必要なCredential はCognitoを利⽤してセキュアに 取得 モバイルからダイレクトにAWSサービスを利⽤するアーキテクチャ Android/iOS SDK JavaScript SDK DynamoDB SNS S3 LambdaCognito Credential の取得 直接操作
- 34. サーバレスアーキテクチャ ✤ JavaScript/ネイティブアプリによるUI実装 ✤ JavaScriptおよび静的コンテンツはS3に保存して 配信 ✤ CloudFront経由の配信 ✤ ロジックはAPI化 ✤ API Gatewayを利⽤ ✤ バックエンドとしてLambdaを利⽤ ✤ JavaScript/iOS・AndroidはAPIを呼び出し ✤ Viewの構築は各クライアント上で⾏う ✤ Lambdaファンクションから各AWSサービスを利 ⽤ ✤ API GW/LambdaともにEC2を利⽤した Lambda API Gateway AWSサービス クラウドサービスを活⽤することでサーバ(EC2)を利⽤せずに構成するアーキテクチャ S3 CloudFront 解決される課題 不要（各サービスが適切にハンドリング） 不要 ✤ インフラ構築 → 不要 ✤ インフラの運⽤管理 ✤キャパシティ ✤スケール ✤デプロイ ✤耐障害性 ✤モニタリング ✤ロギング ✤セキュリティパッチの適⽤ ✤ ビジネスの差別化には直接繋がらない機能のアプリ実装 ✤認証 ✤スロットリング ✤スケーラビリティの確保
- 35. API Gateway and Lambda
- 36. API Gateway integration with Lambda ✤API GatewayとLambda間をネイティブ にインテグレーション ✤HTTPコールをLambdaの呼び出しに変換 ✤Body、ヘッダ、パラメータなどを Lambdaに渡すJSONオブジェクトへと マッピングAPI Gateway Lambda
- 37. Amazon API Gateway 複数バージョンや複数環境 へのデプロイを管理 APIの定義とホスティング クラウド上のリソースへのアクセ ス認証におけるAWS IAMの活⽤ AWSのAuthを活⽤ バックエンド保護のため のDDoS対策やリクエス トのスロットリング ネットワークトラフィックの管理 開発者がAPIの運⽤を気にせずに作成、公開することを可能にするサービス
- 38. Amazon API Gateway 複数バージョンとステージ APIキーの作成と配布 リクエスト時におけるAWS SigV4の利⽤ リクエストのスロットリングとモニタリング バックエンドとしてAWS Lambdaが利⽤可能
- 39. Amazon API Gateway レスポンスをキャッシュ可能 CloudFrontを利⽤したレイテンシの軽減とDDoS対策 iOS、AndroidとJavaScript向けSDKの⾃動⽣成 Swaggerのサポート Request / Responseにおけるデータ変換
- 40. Amazon API Gateway レスポンスをキャッシュ可能 CloudFrontを利⽤したレイテンシの軽減とDDoS対策 iOS、AndroidとJavaScript向けSDKの⾃動⽣成 Swaggerのサポート Request / Responseにおけるデータ変換
- 43. イベントソース ✤現時点では以下のAWSサービスと連携可能 ✤Amazon S3 ✤Amazon Kinesis ✤Amazon DynamoDB Streams(Preview) ✤Amazon Cognito ✤Amazon SNS ✤Alexa AppKit ✤Amazon SWF ✤Amazon SES inbound mail ✤Amazon CloudWatch Logs ✤Amazon Connected Home (Preview) ✤AWS IoT
- 46. 「何をするか」 を書くだけでいい
- 47. 「何をするか」 を書くだけでいいAll you need is code.
- 48. If you need more flexibility
- 49. Use container.
- 50. You need longer timeout?
- 51. Use container.
- 52. What are containers? ✤プロセスの隔離 ✤イメージ ✤⾃動化 Server Guest OS Bins/Libs Bins/Libs App2App1
- 57. Containerのメリット ⼀貫性のある環境 ⾼い⽣産性 バージョン管理 効率的な オペレーション
- 59. FROM ubuntu:14.04 MAINTAINER John Doe <jdoe@example.com> RUN apt-get update && apt-get install -y curl wget default-jre git RUN adduser --home /home/sinatra --disabled- password --gecos '' sinatra RUN adduser sinatra sudo RUN echo '%sudo ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers USER sinatra RUN curl -sSL https://get.rvm.io | bash -s stable RUN /bin/bash -l -c "source /home/sinatra/.rvm/scripts/rvm" RUN /bin/bash -l -c "rvm install 2.1.2" RUN /bin/bash -l -c "gem install sinatra" RUN /bin/bash -l -c "gem install thin" Package
- 61. docker runRun
- 63. $ docker run myimage Server Guest OS Bins/Libs Bins/Libs App2App1
- 65. Amazon EC2 Container Service (ECS) ✤Dockerコンテナを複数のEC2インスタンスに分散配置できる ✤⼀時的な計算処理にも、ロングランニングな処理にも対応 ✤ELB連携など各種AWSサービスとの親和性 ✤Amazon ECS⾃体の利⽤は無料 複数のコンテナをEC2のクラスタ上で⼀元管理できるサービス
- 66. Cluster Management Engine Agent Communication Service API Key/Value Store Amazon ECS AZ ECS Agent Container Instance Task Container Task Container Docker AZ ECS Agent Container Instance Task Container Task Container Docker ECS Agent Container Instance Task Container Task Container Docker ELB ELB User/Scheduler
- 69. AWSサービスとの連携 ✤Elastic Load Balancing ✤Amazon Elastic Block Store ✤Amazon Virtual Private Cloud ✤AWS Identity and Access Management ✤AWS CloudTrail
- 71. クラウドネイティブなアプリ開発
- 72. The 12 Factor App
- 73. The 12 Factor App ✤モダンなWebアプリケーション開発のための⽅法論 ✤直接的にマイクロサービスと関連する話しではないが⼀読しておくべ き ✤URL http://12factor.net/ http://12factor.net/ja/（⽇本語訳）
- 74. The 12 Factor App ✤Codebase - コードベース - ✤バージョン管理されている1つのコードベースと複数のデプロイ ✤Dependencies - 依存関係 - ✤依存関係を明⽰的に宣⾔し分離する ✤環境に依存しないこと ✤Config - 設定 - ✤設定を環境変数に格納する ✤設定などの環境によって異なる可能性があるものはOSレベルの環境変数によって注⼊ されるべきである ✤Backing services - バックエンドサービス - ✤バックエンドサービスをアタッチされたリソースとして扱う ✤データベースやメッセージブローカーといったものはアタッチされたリソースとして 扱う
- 75. The 12 Factor App ✤Build, release, run - ビルド、リリース、実⾏ - ✤ビルド、リリース、実⾏の3つのステージを厳密に分離する ✤Process - プロセス - ✤アプリケーションを1つもしくは複数のステートレスなプロセスとして実⾏す る ✤プロセス間で何も共有はしない ✤Port binding - ポートバインディング - ✤ポートバインディングを通してサービスを公開する ✤Concurrency - 並⾏性 - ✤プロセスモデルによってスケールアウトする ✤⽔平⽅向へのプロセスのスケールアウトによって並⾏性を担保する
- 76. The 12 Factor App ✤Disposability - 廃棄容易性 - ✤⾼速な起動とグレースフルシャットダウンで堅牢性を最⼤化する ✤Dev/prod parity - 開発/本番⼀致 - ✤開発、ステージング、本番環境をできるだけ⼀致させた状態を保つ ✤CI/CDは各環境が揃っていることで実現される ✤Log - ログ - ✤ログをイベントストリームとして扱う ✤中央集権的なサービスによってイベントを集約、インデックス化し分析する環 境が実現される ✤Admin processes - 管理プロセス - ✤管理タスクを1回限りのプロセスとして実⾏する
- 77. アプリケーションの実装パターン
- 84. Retry ✤失敗は⼀時的なものが多いのでシンプルにリトライすることで成功す ることが多い ✤スロットリングに対する対応も同様 ✤エラーが起きたら、少し待った上でリトライする ✤Exponential back offもしくはフィボナッチ数列を利⽤したリトライ間 隔の調整を⾏う ✤Exponential back off ••• リトライ間隔を指数関数的に⻑くしていくアルゴリズ ム ✤無制限にリトライするのではなくどこかでエラーとして判断すること が必要
- 89. クラウドネイティブなデプロイ
- 90. DevOps DevOps = ライフサイクルを効率的にスピードアップさせること developers customers releasetestbuild plan monitor delivery pipeline feedback loop ソフトウェア開発のライフサイクル
- 92. The Amazon Way
- 93. 2 Pizza Rule AMAZON CONFIDENTIAL
- 94. Two Pizza Team ✤作るものに対する全てを負う ✤プロダクト計画(ロードマップ) ✤開発 ✤運⽤ ✤サポート ✤You build it, you run it ✤DevOps 94
- 98. AWS CodePipeline ✤リリースプロセスの定義 ✤⾃社システムとのインテグレーション ✤パイプラインステータスの可視化 ✤各リリースの⼀貫した検証 Amazonと同様の継続的デリバリとリリース⾃動化 Build 1) Build 2) Unit test 1) Deploy 2) UI test Source Beta Production 1) Deploy 2) Perf test Gamma 1) Deploy canary 2) Deploy region 1 3) Deploy region 2 1) Pull
- 99. AWS CodeDeploy ✤簡単で信頼性の⾼いデプロイを実現 ✤簡単にスケール ✤あらゆるサーバにデプロイ可能 Test CodeDeployv1, v2, v3 Production Dev リビジョン deployment groups
- 100. AWS CodeCommit ✤S3上に⽤意されたGitプライベートリポジトリ ✤⼀般的なGitのツールを利⽤可能 ✤Amazon S3とDynamoDBを利⽤したスケーラビリティ、可⽤性と信頼性 ✤ユーザ固有のキーで全リポジトリを⾃動的に暗号化 git pull/push CodeCommit Git objects in Amazon S3 Git index in Amazon DynamoDB Encryption key in AWS KMS SSH or HTTPS
- 102. 参考資料 ✤ Martin Fowlerのブログ ✤ Microservices http://martinfowler.com/articles/microservices.html ✤ Microservices Premium http://martinfowler.com/bliki/MicroservicePremium.html ✤ THE TWELVE-FACTOR APP http://12factor.net/ http://12factor.net/jp/ (⽇本語) ✤ AWS関連 ✤ Amazon API Gateway http://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/welcome.html ✤ AWS Lambda http://docs.aws.amazon.com/ja_jp/lambda/latest/dg/welcome.html ✤ Amazon ECS http://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html ✤ AWS CodePipeline http://docs.aws.amazon.com/en_us/codepipeline/latest/userguide/welcome.html ✤ AWS CodeDeploy http://docs.aws.amazon.com/codedeploy/latest/userguide/welcome.html ✤ AWS CodeCommit http://docs.aws.amazon.com/codecommit/latest/userguide/welcome.html ✤ AWSクラウドサービス活⽤資料集 https://aws.amazon.com/jp/aws-jp-introduction/ ✤ AWS re:Invent 2015 スライド http://www.slideshare.net/AmazonWebServices/tag/reinvent2015 ✤ Exponential Backoff and Jitter https://www.awsarchitectureblog.com/2015/03/backoff.html