20170809 AWS code series
0 likes527 views
Technical Session for AWS Code Services. Introduce AWS CodeCommit, AWS CodeBuild, AWS CodeDeploy, AWS CodePipeline and AWS CodeStar. Speaker: Atsushi Fukui @JAWS UG Osaka, 2017.08.09
![v2 v1 v1 v1 v1 v1 v1 v1
v2 v2 v1 v1 v1 v1 v1 v1
v2 v2 v2 v2 v1 v1 v1 v1
v2 v2 v2 v2 v2 v2 v2 v2
One-at-a-time
Min. healthy hosts = 99%
[Custom]
Min. healthy hosts = 75%
Half-at-a-time
Min. healthy hosts = 50%
All-at-once
Min. healthy hosts = 0
デプロイメント構成](https://image.slidesharecdn.com/20170809codeseries-170810041401/85/20170809-AWS-code-series-63-320.jpg)
20170809 AWS code series
- 1. @JAWS UG Osaka Developer Tools AWS Code Services アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト 福井 厚 2017.08.09 © 2017, Amazon Web Services, Inc. or its affiliates. All rights reserved.
- 2. ⾃⼰紹介 v 名前 v 福井 厚（ふくい あつし）fatsushi@ v 所属 v アマゾン ウェブ サービス ジャパン株式会社 v 技術統括本部レディネスソリューション部 v ソリューション アーキテクト（Dev＆Opsスペシャリスト） v 前職 v エンタープライズ アプリケーション開発コンサルタント v 好きなAWSサービス v AWS Code シリーズ、Mobile Hub、AWS IoT、Lambda（C#）
- 4. ソフトウェアの動きは加速している vソフトウェアの作成と配布はかつてな いほどスピードが要求されている – ほとんどあるいはまったく資⾦調達せずに スタートアップが巨⼤企業に対抗できる – ダウンロードひとつで数百万⼈のユーザー にすぐにソフトウェアを配布できる – 多くの要求に応えるには機敏性が最も重要
- 5. 機敏な動きに必要なツールとは？ vこの新しいソフトウェア駆動の世界でソフトウェ アをリリースするのに必要なツールとは – ソフトウェア開発のリリースプロセスの流れを管理する ツール – コードの不具合や潜在的な問題を正しくテスト／検査す るツール – アプリケーションをデプロイするツール
- 6. • 他のシステムと の統合テスト • ロードテスト • UIテスト • 侵⼊テスト リリースプロセスの4つの主なフェーズ ソース ビルド テスト 運⽤ • ソースコードを チェックイン • バージョン管理、 ブランチ管理 • 新しいコードの ピアレビュー • Java、C#などの コードのコンパイル • ユニットテスト • スタイルチェッカー • コードメトリック • コンテナイメージの 作成 • 本番環境に デプロイ
- 7. リリースプロセスのレベル ソース ビルド テスト 運⽤ 継続的インテグレーション 継続的デリバリ 継続的デプロイメント 継続的インテグレーション（CI）、継続的デプロイメント（CD）を実現
- 10. AWS Code シリーズ Source Build Test Production ソフトウェア リリース フェーズ
- 11. Source Build Test Production AWS CodeCommit ソフトウェア リリース フェーズ AWS Code シリーズ
- 12. Source Build Test Production AWS CodeBuild ソフトウェア リリース フェーズ AWS Code シリーズ
- 13. Source Build Test Production Third Party Tooling ソフトウェア リリース フェーズ AWS Code シリーズ AWS CodeBuild
- 14. Source Build Test Production AWS CodeDeploy ソフトウェア リリース フェーズ AWS Code シリーズ
- 15. Source Build Test Production EC2 On-Prem AWS CodeDeploy ソフトウェア リリース フェーズ AWS Code シリーズ
- 16. Source Build Test Production AWS CodePipeline ソフトウェア リリース フェーズ AWS Code シリーズ
- 17. Source Build Test Production Third Party Tooling AWS CodeCommit AWS CodeBuild AWS CodeDeploy AWS CodePipeline ソフトウェア リリース フェーズ AWS Code シリーズ AWS CodeBuild
- 20. v AWSによるフルマネージドなサービス v ⾼可⽤性、耐久性及びハードウェア、ソフトウェアを管理する 負荷の削減 v セキュアにコードを管理 v AWS CodeCommitは送信時及び保存時に暗号化 v 容易にスケール v 多数のファイルやブランチ、履歴を保持可能 v どのようなファイルも保存可能 v 保存できるファイルのサイズやタイプに制限はない v 他のAWSサービスやサードパーティーと連携可能 v IAM Roleによる他のサービスとの連携が容易 v 他のリモードレポジトリからの移⾏が容易 v 他のGitベース リポジトリからシンプルに移⾏可能 v 既存のGitツールが利⽤可能 AWS CodeCommit
- 21. AWS CodeCommit git pull/push CodeCommit Git オブジェクトは Amazon S3で管理 Git インデックスは Amazon DynamoDBで管理 暗号化キーは AWS KMSで管理 SSH or HTTPS
- 22. リポジトリの作成 22 $ aws codecommit create-repository --repository-name MyDemoRepo ¥ --repository-description "My demonstration repository" AWS CLIで実行
- 23. リポジトリのコンテンツ参照 23
- 24. リポジトリのコンテンツ参照 24
- 25. リポジトリのコンテンツ参照 25
- 26. コミット履歴の表⽰ 26
- 27. バージョン間の差分表⽰ 27
- 28. コミット グラフの表⽰ vCommit Visualizer を選択 28
- 29. HTTPS接続とGit 認証の⼿順 1. AWS CodeCommit にアクセスするIAM Userを作成 2. IAMに静的なユーザー名とパスワードを⽣成 3. ⽣成した認証情報を Git のユーザー名、パスワード認証で利⽤ v AWS CodeCommit はGit version 1.7.9以上をサポート v AWS CodeCommit は Curl 7.33 以上が必要 curl update 7.41.0 をHTTPSで利⽤する場合は既知の障害があり 以下を参照： http://docs.aws.amazon.com/codecommit/latest/userguide/tr oubleshooting.html 29
- 30. IAM User の作成 30 IAM Userの名前を入力 IAM Userのパスワードを入力
- 31. ポリシーのアタッチ 31 既存ポリシーのアタッチ 以下のポリシーを選択 • AWSCodeCommitFullAccess • IAMUserSSHKeys • IAMSelfManageServiceSpecificCredentials • IAMReadOnlyAccess
- 32. ポリシーのアタッチ 32
- 41. CodeCommit の価格 41 最初の5 アクティブ ユーザー 最初の5以上のアクティブ ユーザー（一 人当たり） 無料 1ドル/月 • 無制限のリポジトリ数 • 月に50GBのストレージ • 10,000 Git リクエスト/月 • 無制限のリポジトリ数 • 月に10GBのストレージ/ユーザー • 2,000 Git リクエスト/月/ユーザー 上記の制限を超えた場合 • $0.06 / GB / 月 • $0.001 / Git リクエスト
- 42. Build & test your application https://secure.flickr.com/photos/spenceyc/7481166880
- 43. vフルマネージド vAWS CodeBuild はセットアップ、パッチ、 アップデート、サーバー管理の手間が不要 vオン デマンド vビルドしたいニーズに合わせて自動でス ケール。利用した分数のみのお支払い vすぐに使える v最もポピュラーな開発言語用の構成済み のビルド環境を提供。最初にビルド スクリ プトを作成するだけ。 AWS CodeBuild
- 44. AWS CodeBuild のコンセプト 1. CodeBuild にビルド プロジェクトを 作成 2. AWS CodeBuild はビルド プロジェ クトに基づいてビルド環境を構築 3. AWS CodeBuildはソースコードをダ ウンロード 4. ビルドのアウトプットをS3へアップ ロード 5. ビルド実⾏中、AWS CodeBuild と AWS CloudWatch Logs に情報を送 信 6. ビルド実⾏中、AWS CodeBuild コン ソール、AWS CLI、AWS SDK、 AWS APIでビルド情報を取得 44
- 50. version: 0.1 environment_variables: plaintext: JAVA_HOME: "/usr/lib/jvm/java-8-openjdk-amd64" phases: install: commands: - apt-get update -y - apt-get install -y maven pre_build: commands: - echo Nothing to do in the pre_build phase... build: commands: - echo Build started on `date` - mvn install post_build: commands: - echo Build completed on `date` artifacts: type: zip files: - target/messageUtil-1.0.jar discard-paths: yes buildspec.yml Example • ビルドの各フェーズで利用される環 境変数 • 各フェースで実行するコマンドの指 定 • “insutall”では環境を準備するため のパッケージのインストールやコマ ンドの実行など • ”pre build“では構文チェックやコマ ンドの実行など • “build”ではビルドツールやコマンド の実行など • “post build”ではテスト実行やレポ ジトリへのコンテナイメージの配布 • アーティファクトを作成しS3に保存
- 51. AWS CodePipeline との連携 vCodePipeline の Build または Test アクションに追加可能 v継続的インテグレーションの⼀ 部としてAWS CodeBuildを利 ⽤ 51
- 52. 価格 • 分単位の課⾦ • メモリとCPUリソースの量によって3つの異なるタイプ を選択 • build.general1.smallで100分/⽉の無料枠 Compute instance type Memory (GB) vCPU Price per build minute ($) build.general1.small 3 2 0.005 build.general1.medium 7 4 0.010 build.general1.large 15 8 0.020 *As of January 20 2017
- 53. Deploying your applications https://secure.flickr.com/photos/simononly/15386966677
- 54. v ⾃動化されたデプロイメント v 開発、テスト、本番環境への完全に⾃動化されたデプロイ メント。AWS CodeDeployは数千台の環境にスケール可能 v 最⼩のダウンタイム v In-place デプロイメントではAmazon EC2インスタンスに 対してローリング アップデートが可能 v Blue/Green デプロイメントでは最新のリビジョンをイン スタンスにデプロイしてトラフィックを即時またはテスト 完了後すぐに新しい環境にリルート v 停⽌とロールバック v ⾃動的またはマニュアルで停⽌とロールバックが可能 v センターコントロール v AWS CodeDeployコンソール及びAWS CLIでステータス のトラックが可能 v 容易な適⽤ AWS CodeDeploy
- 55. デプロイとは？ • アプリケーションやア セットの更新をサーバ に反映させること • 実際には、更新された ファイル群を対象の サーバ群に配布する Availability Zone Availability Zone v2
- 56. よくある課題をAWS CodeDeployで解決 v ⾃動化できていない →もちろん⾃動的にデプロイ v デプロイサーバの負荷、シングルポイント →マネージドサービスのためパフォーマンス、耐障害性も気にしなくて 良くなる v 新規サーバ構築時にデプロイ対象がわからない →CodeDeployなら、AutoScalingと連動し⾃動でデプロイ v 複数⼈でデプロイがぶつからない様に管理するのが⾯倒 →AWS CodeDeployで⼀元管理
- 58. AWS CodeDeploy コンポーネント vApplication vデプロイメント構成 vデプロイメント グループ vデプロイメント タイプ vIAM インスタンス プロファイル vリビジョン vサービル ロール vターゲット リビジョン 58
- 59. Application – デプロイに対する⼀意の名前 v フォルダ構成 – appspec.yml (必須) – ビルド済の成果物 – その他配布物 – hookスクリプト v アップロード – Amazon S3のObject – GitHubのRepository • zip形式でダウンロードされる / !"" appspec.yml !"" config/ # $"" config.xml !"" deploy_hooks/ # !"" start-tomcat.sh # $"" stop-tomcat.sh $"" target/ $"" hello.war or Amazon S3 注: ソースコードではなくmavenやbundle後の ファイル群をput/pushすることをオススメ
- 60. AppSpec File – デプロイの⼿順書 vfiles – どのファイルをどこに配 置するか指定 version: 0.0 os: linux files: - source: config destination: /etc/app - source: target/hello.war destination: /var/lib/tomcat6/webapps hooks: ApplicationStop: - location: deploy_hooks/stop-tomcat.sh ApplicationStart: - location: deploy_hooks/start-tomcat.sh v hooks – 以下の⻩⾊のEventで実⾏ する処理を指定
- 61. appspec.yml の例 version: 0.0 os: linux files: - source: / destination: /var/www/html permissions: - object: /var/www/html pattern: “*.html” owner: root group: root mode: 755 hooks: ApplicationStop: - location: scripts/deregister_from_elb.sh BeforeInstall: - location: scripts/install_dependencies.sh ApplicationStart: - location: scripts/start_httpd.sh ValidateService: - location: scripts/test_site.sh - location: scripts/register_with_elb.sh • ELBへのインスタンスの追加と 削除 • 依存パッケージのインストール • Apacheの起動 • デプロイの成功を確認 • 他にも！ • アプリケーションファイルと 設定ファイルをそれぞれの ディレクトリに送信 • 特定のディレクトリとファイル のアクセス許可を設定
- 62. AWS CodeDeploy Agent v デプロイ対象となるインスタンスで実⾏ v サポートするOS – Amazon Linux 2017.03.x, 2016.09.0, 2016.03.1, 2016.03.0, 2015.03, 2014.09.1 – Ubuntu Server 16.04 LTS and 14.04 LTS – Microsoft Windows Server 2016, 2012 R2, and 2008 R2 – Red Hat Enterprise Linux (RHEL) 7.x v Open Sourceとして必要に応じて他の環境にも適⽤可能 – https://github.com/aws/aws-codedeploy-agent 62
- 63. v2 v1 v1 v1 v1 v1 v1 v1 v2 v2 v1 v1 v1 v1 v1 v1 v2 v2 v2 v2 v1 v1 v1 v1 v2 v2 v2 v2 v2 v2 v2 v2 One-at-a-time Min. healthy hosts = 99% [Custom] Min. healthy hosts = 75% Half-at-a-time Min. healthy hosts = 50% All-at-once Min. healthy hosts = 0 デプロイメント構成
- 64. デプロイメント グループ v下記のいずれか、または両⽅で構成 – タグのグループ – Auto Scaling グループ vデプロイメント グループに 対してどのリビジョンを 適⽤するかを指定 Dev Test Prod v2.0 v1.2 v1.1 v2.0 v1.2 v1.1 v2.0 v1.2 v1.1
- 65. AWS CodeDeployとAuto Scaling Group(ASG) • スケールアウト時に最新のリビ ジョンが⾃動でデプロイされる – ASGのLifecycle Hookを利⽤ – 追加インスタンスのみにデプロイ • Deployment GroupにASGを指定 するだけで利⽤可能 デプロイに成功した最新の リビジョンが⾃動でデプロイ
- 66. デプロイメント タイプ vIn-place 66 vBlue/Green v1 v1 v1 v1 v1 v1v2 v2 v2 2017/6/28時点ではCLBのみサポートCLB/ALB共にサポート
- 67. デプロイメント タイプ vIn-place 67 vBlue/Green v1 v1 v1 v1 v1 v1v2 v2 v2 v2 v2 v2 2017/6/28時点ではCLBのみサポートCLB/ALB共にサポート
- 68. AWS CodeDeployの料⾦ vAmazon EC2へのデプロイは全て無料 – Amazon S3を使う場合は、S3の利⽤料 vオンプレミスインスタンスへのデプロイ – $0.02/インスタンス/デプロイ 2017/6/28 時点の価格です
- 69. Orchestrating build and deploy with a pipeline https://www.flickr.com/photos/seattlemunicipalarchives/12504672623/
- 70. デプロイメントパイプラインとは v ソースコードからビルドやテストなどのステージを⾃動 化したプロセス v プロセスは開発チームやサービスそれぞれで異なる v スムーズなデプロイメントには⽋かせない ソースコード ビルド テスト ステージ デプロイ 本番 デプロイ UAT デプロイメントパイプライン
- 71. v リリース プロセスを⾃動化 v ソースリポジトリからビルド、テスト、デプロイメントまで完 全に⾃動化されたリリース プロセス v ⼀環したリリース プロセスを確⽴ v コードの変更に対して⼀貫した実⾏ステップのセットを定義 v 改善された品質でデリバリをスピードアップ v リリース プロセスを⾃動化し、インクリメンタルな機能追加を 可能について顧客に素早くリリース v お気に⼊りのツールを利⽤可能 v 既存のソース、ビルド、デプロイメントのツールをパイプラン に組み込み v 進捗状況が⼀⽬瞭然 v リアルタイムにパイプラインのステータスをレビュー可能 AWS CodePipeline
- 76. CodePipelineの構成例 Developers AWS CodeCommit AWS CodePipeline AWS CodeBuild AWS CloudFormation Amazon ECS Amazon ECR git pushでリポジトリを 更新 CodePipeline が更新を検 知しパイプラインを開始 CloudFormation がECRの DockerイメージをECSクラスタに 展開 CodeBuildがDockerイメージを ビルドしECRへプッシュ
- 77. ９. ビルドアーティファク トを取得 CodePipeline Source Source CodeCommit Build JenkinsOnEC2 CodeBuild Deploy JavaApp CloudFormation ソースアーティファクト S3 ビルドアーティファクト S 5. ソースアーティファクト を取得 1. 変更を取得 6. ビルドアーティファクト を格納 3. ジョブをポーリング 4. ジョブを承認 7. 成功を通知 8. CloudFormationでサービス 定義を更新 MyApplication AWS CodeCommit Amazon ECS Amazon ECR AWS CodeBuild
- 78. AWS サービス統合 ソース ビルド ロジック実行 デプロイ AWS Elastic Beanstalk Amazon S3 AWS CodeDeployAWS Lambda AWS CodeCommit AWS OpsWorks AWS CloudFormation AWS CodeBuild ＊2017/6/28現在、東京リージョンでは 利用できません
- 79. 優秀なパートナーが続々集結 ソース ビルド テスト デプロイ
- 80. AWS Lambda ファンクションの実⾏ v AWS CodePipelineのアクションとしてLambdaを追加可能 v Lamdbaファンクションの利⽤例 – AWS CloudFormation テンプレートの適⽤やアップデートによる環境変更の展開 – 実⾏時に1つのステージでCloudFormationを利⽤してリソースを作成し、別のス テージで削除 – LambdaファンクションでCNAMEをスワップすることでゼロ ダウンタイム バージョ ンアップをElasticBeanstalkで実⾏ – Amazon ECSへDockerインスタンスをデプロイ – AMIスナップショットを作成することで構築、デプロイする前にリソースのバック アップを作成 – IRCクライアントにメッセージをポストするなど、サードパーティーの製品と統合 80
- 81. Approval アクションの管理 v パイプラインに承認アクションを追加可能 v SNSトピックを指定 v 承認アクションの例 – リビジョンが次のステージに進む前にコードレビュや変更管理レ ビューを依頼 – ⼿動の品質管理テストを最新バージョンのアプリケーションに実施 を依頼 – リリース前にビルドされた成果物の統合確認を依頼 – 会社のWebサイトに発⾏する前に、新規や更新されたテキストのレ ビューを依頼 81
- 83. Demo 83
- 84. AWS CodePipelineの料⾦ v1アクティブパイプライン毎に、$1/⽉ – アクティブパイプラインとは、30⽇以上存在していて、 その⽉に1つのコード変更が発⽣したパイプライン – その⽉に新しいコード変更がないパイプラインに対しては 料⾦は発⽣しません – 1ヶ⽉に満たない分に対しては按分計算されません v無料利⽤枠 – １パイプライン/⽉あたり 2017/6/28 時点の価格です
- 85. AWS CodeStar 85
- 87. セットアップ内容 ✤ サンプルアプリケーション ✤ EC2 or Beanstalk or Lambda ✤ CodeCommitリポジトリ ✤ CodeBuildビルドプロジェクト ✤ デプロイツール ✤ CodeDeploy or Beanstalk or CloudFormation ✤ CodePipeline 継続的デプロイメントパイプライン ✤ CloudWatchメトリクス ✤ プロジェクトダッシュボード
- 88. 豊富なプロジェクトテンプレート
- 89. 開発ツールとの連携
- 92. AWS CodeStarの料⾦ v追加料⾦はありません vCodeStar プロジェクトでプロビジョニングし たAWS リソース（Amazon EC2インスタンス、 AWS Lambdaの実⾏、Amazon S3のバケット など）に対してのみ料⾦が発⽣します。 92 2017/6/28 時点の価格です
- 93. まとめ v AWS CodeCommit はプライベートで無制限のリポジトリを容易 に構築可能 v AWS CodeBuild はフルマネージドなビルド環境を提供 v AWS CodeDeploy は最⼩限のダウンタイムでデプロイの⾃動化が 可能 v AWS CodePipeline によってリリース プロセス全体を⼀貫したや り⽅で完全に⾃動化 v AWS CodeStar でCI/CD環境を素早く構築し、ダッシュボードで ⼀元管理が可能 v これらを活⽤することで⾼品質なソフトウェアをインクリメンタル な開発⼿法で素早くリリース！ 93
- 95. 95