仮想通貨取引所 bitbank の IaC の導入と実践
0 likes2,945 views
X-Tech JAWS#2 @AWS
![$ aws codepipeline get-pipeline
...
{
"pipeline": {
"name": "test",
"roleArn": "arn:aws:iam::xxxxxxxxxxxx:role/dev-test-codepipeline",
"artifactStore": {
"type": "S3",
"location": "testbucket"
},
"stages": [
{
"name": "Source",
"actions": [
{
"name": "App",
"actionTypeId": {
"category": "Source",
"owner": "AWS",
"provider": "CodeCommit",
"version": "1"
},
"runOrder": 1,
"configuration": {
"BranchName": "dev",
"RepositoryName": "testrepo"
},
"outputArtifacts": [
{
"name": "App"
}
],
"inputArtifacts": []
}
]
},
...](https://image.slidesharecdn.com/introduction-and-practice-of-iac-in-cryptocurrency-exchange-bitbank-190730100118/85/bitbank-IaC-17-320.jpg)
![SDK で解決(冪等になります)
const taskDefinitionFamilies = await ecs.listTaskDefinitionFamilies({ status: 'ACTIVE' }).promise();
if (!taskDefinitionFamilies.families) {
throw new Error('listTaskDefinitionFamilies failed');
}
for (const family of taskDefinitionFamilies.families) {
console.log(`${family} task definition update start`);
const { taskDefinition } = await ecs.describeTaskDefinition({ taskDefinition: family }).promise();
if (!taskDefinition || !taskDefinition.containerDefinitions) {
throw new Error('describeTaskDefinition failed');
}
const { containerDefinitions, executionRoleArn, cpu, memory, taskRoleArn, requiresCompatibilities, networkMode } = taskDefinition;
const requestContainerDefinitions = containerDefinitions.map((def) => ({
...def,
secrets: [
...(def.secrets || []),
...def
.environment!.filter((env) => envToSecretKeys.includes(env.name!))
.map((env) => ({
name: env.name!,
valueFrom: env.value!,
})),
],
environment: def.environment!.filter((env) => !envToSecretKeys.includes(env.name!)),
}));](https://image.slidesharecdn.com/introduction-and-practice-of-iac-in-cryptocurrency-exchange-bitbank-190730100118/85/bitbank-IaC-38-320.jpg)
仮想通貨取引所 bitbank の IaC の導入と実践
- 1. 仮想通貨取引所bitbank のIaC の導⼊と実践 2019/07/30 X-Tech JAWS @AWS →← 1 / 45
- 2. Who? Shogo Ishikawa (@koarakko99) Engineer @ Bitbank (2018/04-) AWS Team CI/CD Account management Fargate, EB Favorite service CloudFormation, VPC →← 2 / 45
- 3. Who? Yuta Suzuki (@euxn23) Engineer @ Bitbank (2018/07-) Developer Success Team DeveloperSuccess として何を届けられるか、様々な分野を経た先として何ができるか AWS, DevOps, NodeJS Engineer formerly, Application Engineer (Angular / TS Backend) Using AWS half a year awswakaran.tokyo co-founder (w/@potato4d)
- 4. bitbank とは
- 6. bitbank.cc はAngular + TypeScript + AWS です
- 7. bitbank における活⽤状況 ElasticBeanstalk を利⽤したCodePipeline CloudFormation StackSets を利⽤したアカウント管理 GitLab Runner の構築
- 8. 導⼊編
- 10. なぜCloudFormation を採⽤したか？ AWS 以外のクラウドの利⽤予定がなかった AWS ドキュメントに慣れていたため 悩みをAWS サポートに相談できるから
- 11. CloudFormation の習得するためにやったこと AWS CloudFormation の公式ドキュメントを読んだ GitHub で他⼈のコードを読んだ Resource 名で検索するとヒットするのでそれを読んだ
- 13. 疑似パラメータを積極的に使う。
- 14. アカウントID => AWS::AccountId リージョン=> AWS::Region スタックID => AWS::StackId など
- 15. なるべくnested しておき、汎⽤性を⾼める Resources: IamRole: Type: AWS::CloudFormation::Stack Properties: TemplateURL: ../../components/iam.yml Parameters: IamPolicy: !Ref IamPolicy MyInstance: Type: AWS::CloudFormation::Stack Properties: TemplateURL: ../../components/ec2.yml Parameters: SubnetId: !Ref SubnetId ImageId: !Ref ImageId InstanceType: !Ref InstanceType InstanceName: MyInstance KeyName: !Ref KeyName IamRole: !GetAtt IamRole.Outputs.MyInstanceProfile SecurityGroupId: !Ref SecurityGroupId
- 17. $ aws codepipeline get-pipeline ... { "pipeline": { "name": "test", "roleArn": "arn:aws:iam::xxxxxxxxxxxx:role/dev-test-codepipeline", "artifactStore": { "type": "S3", "location": "testbucket" }, "stages": [ { "name": "Source", "actions": [ { "name": "App", "actionTypeId": { "category": "Source", "owner": "AWS", "provider": "CodeCommit", "version": "1" }, "runOrder": 1, "configuration": { "BranchName": "dev", "RepositoryName": "testrepo" }, "outputArtifacts": [ { "name": "App" } ], "inputArtifacts": [] } ] }, ...
- 18. CLI の結果を転記する Pipeline: Type: AWS::CodePipeline::Pipeline Properties: Name: !Ref ApplicationName RoleArn: !GetAtt CodePipelineServiceRole.Arn ArtifactStore: Type: S3 Location: testbucket Stages: - Name: Source Actions: - Name: App ActionTypeId: Category: Source Owner: AWS Version: 1 Provider: CodeCommit Configuration: RepositoryName: testrepo BranchName: dev OutputArtifacts: - Name: App RunOrder: 1
- 19. クロススタック参照は使わなかった以下のような記述 Outputs: WebSG: Description: Service VPC Value: !Ref ServiceVPC Export: Name: 'stack-service-vpc'
- 22. 代わりにParameterStore に値を⼊れたSG のARN をParameterStore に格納 Resources: InstanceSecurityGroup: Type: AWS::EC2::SecurityGroup Properties: GroupDescription: test-sg VpcId: !Ref VpcId SecurityGroupEgress: - IpProtocol: '-1' CidrIp: 0.0.0.0/0 SecurityGroupIdParameter: Type: AWS::SSM::Parameter Properties: Name: test-sg Type: String Value: !Ref InstanceSecurityGroup 取得時 AWSTemplateFormatVersion: '2010-09-09' Description: Main template. Parameters: SecurityGroupId: Type: AWS::SSM::Parameter::Value<String<AWS::EC2::SecurityGroup::Id>> Default: test-sg
- 24. 導⼊編まとめCloudFormation は最初にドキュメントを読んで全体をつかんだ⽅がよい 実際に作るときは、AWS CLI を使うことで簡単にResource の値を⼊れられる
- 25. 実践編
- 27. A. make？make は冪等性担保と相性が良い make は複雑な引数処理ができる make は使い回しができる
- 28. ＿⼈⼈⼈⼈⼈＿ ＞ できる ＜ ￣Y^Y^Y^Y ￣ (簡単とは⾔っていない)
- 29. Q. make ではtoo much なケースでは？
- 30. A. npm script
- 31. bitbank はJS が社内標準語なので package.json(npm run) で⼀部管理しています (CDK がnpm ecosystem なので、今後AWS 系のエンジニアにもnpm は普及するはず)
- 33. 例 GitLab CI Runner の構築 フロントエンド検証環境の構築
- 34. なぜCFn の簡易コマンド化が必要か デプロイ対象や検証環境ごとに権限対象が異なる デプロイ対象や検証環境が増えるたびに環境を作成する AWS 担当以外の開発者もCFn を触れることで開発を⾼速化できる
- 37. 具体例 Fargate の環境変数のValueFrom (ParameterStore からの取得は) ⻑らくCFn では記述できなかった 現在は実装済み TaskDefinitions を更新するたびにただの環境変数に戻ってしまう デプロイの都度、主導で直すのは⼿間だし、忘れる
- 38. SDK で解決(冪等になります) const taskDefinitionFamilies = await ecs.listTaskDefinitionFamilies({ status: 'ACTIVE' }).promise(); if (!taskDefinitionFamilies.families) { throw new Error('listTaskDefinitionFamilies failed'); } for (const family of taskDefinitionFamilies.families) { console.log(`${family} task definition update start`); const { taskDefinition } = await ecs.describeTaskDefinition({ taskDefinition: family }).promise(); if (!taskDefinition || !taskDefinition.containerDefinitions) { throw new Error('describeTaskDefinition failed'); } const { containerDefinitions, executionRoleArn, cpu, memory, taskRoleArn, requiresCompatibilities, networkMode } = taskDefinition; const requestContainerDefinitions = containerDefinitions.map((def) => ({ ...def, secrets: [ ...(def.secrets || []), ...def .environment!.filter((env) => envToSecretKeys.includes(env.name!)) .map((env) => ({ name: env.name!, valueFrom: env.value!, })), ], environment: def.environment!.filter((env) => !envToSecretKeys.includes(env.name!)), }));
- 39. Q. CFn のparameter-overrides って実⾏時エラー出したくない
- 40. A. 型安全になるようにTypeScript のtemplate から注⼊する (quicktype.js を使いました)
- 41. config.template.yml.ts import { Convert, Env } from './env.quicktype'; export function prepare(env: string = 'default'): Env { const envJson = JSON.stringify(require(`./.env.${env}`)); return Convert.toEnv(envJson); } // language=yaml export default ({ envName, nodeEnv, awsAccountId, defaultCpu, defaultMemoryMb }: Env) => ` all: Application: app SSMKeyPrefix: /${envName}/ ...
- 42. env.quicktype.ts export interface Env { envName: string; nodeEnv: string; awsAccountId: string; defaultCpu: string; defaultMemoryMb: string; } env.develop.ts import { Env } from './env.quicktype'; const env: Env = { envName: 'app-dev', nodeEnv: 'develop', awsAccountId: '123456789012', defaultCpu: '256', defaultMemoryMb: '512' }; module.exports = env; materialize-template.ts import * as fs from 'fs'; import { resolve } from 'path'; import main, { prepare } from './config.template.yml'; const env = process.env.ENV; if (!env) { throw new Error('$ENV is required'); } fs.writeFileSync(resolve(__dirname, `config.${env}.yml`), main(prepare(env)));
- 43. アプリケーション指向の解決⽅法を実践 。o (モノによってはaws-sdk (node) の型定義がそのままうまく使えるかも？)
- 44. 実践編まとめCloudFormation は使うとき/読むときのことを考える CloudFormation の限界はSDK を使って超える アプリケーション的なアプローチでより効率的かつ安全にする
- 45. 今後の展望CloudFormation の社内普及を進めたい CloudFormation のノウハウを⾔語化して共有したい CDK の導⼊によりアプリケーションエンジニアでも触りやすくしたい