Submit Search
Cloudnative online-2021-stepfunction
0 likes
127 views
K
kota tomimatsu
aws stepfunctions sam
Software
Read more
1 of 25
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
More Related Content
PDF
Cloudfront cli tips
kota tomimatsu
PDF
AWS Client VPN
kota tomimatsu
PDF
ElasticCloud
kota tomimatsu
PDF
jaws aws-nuke
kota tomimatsu
PDF
aws-Organizations-aroud
kota tomimatsu
PDF
Aws organization multi_accounts
kota tomimatsu
PDF
aws kms poiints
kota tomimatsu
PDF
jaws securityhub
kota tomimatsu
Cloudfront cli tips
kota tomimatsu
AWS Client VPN
kota tomimatsu
ElasticCloud
kota tomimatsu
jaws aws-nuke
kota tomimatsu
aws-Organizations-aroud
kota tomimatsu
Aws organization multi_accounts
kota tomimatsu
aws kms poiints
kota tomimatsu
jaws securityhub
kota tomimatsu
What's hot
(20)
PPTX
Aws certificate managerを使ってみたよ
Masato Kataoka
PDF
おひとりさまAWS Organizationsのススメ
Makio Tsukamoto
PDF
ACMで作成するSSL証明書の活用
Ikuna Wada
PDF
VPC Reachability Analyzer 使って人生が変わった話
Noritaka Sekiyama
PDF
マルチインフラ環境の話
真吾 吉田
PDF
[AKIBA.AWS] VPCをネットワーク図で理解してみる
Shuji Kikuchi
PDF
OpsJAWS 20160128
hideaki yanase
PPTX
20150901 ops jaws_araya_v2
Mitsuru Araya
PDF
Win 3 aws certificate associate
kazuhisa kawashima
PDF
Organizations周りの機能
kota tomimatsu
PDF
Win 3 aws certificate associate
kazuhisa kawashima
PDF
ClientVPNとPrivateca
kota tomimatsu
PDF
2013/08 JAWS_UG北九州 AWSを使った儲け方
Serverworks Co.,Ltd.
PDF
Jaws controltower
kota tomimatsu
PDF
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
Serverworks Co.,Ltd.
PDF
Aws lambda 事始め
Hiroyuki Hiki
PDF
re:Growth 2021 コンピュートサービスの進化を語る
Shuji Kikuchi
PPTX
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
Takayoshi Kobayashi
PPTX
AWSセキュリティ新機能と共に進化した My Individual blog (私の個人ブログ) since 2014
Mitsuhiro Yamashita
PPTX
GAS + SaaS時々 AWSで自動化
Mitsuhiro Yamashita
Aws certificate managerを使ってみたよ
Masato Kataoka
おひとりさまAWS Organizationsのススメ
Makio Tsukamoto
ACMで作成するSSL証明書の活用
Ikuna Wada
VPC Reachability Analyzer 使って人生が変わった話
Noritaka Sekiyama
マルチインフラ環境の話
真吾 吉田
[AKIBA.AWS] VPCをネットワーク図で理解してみる
Shuji Kikuchi
OpsJAWS 20160128
hideaki yanase
20150901 ops jaws_araya_v2
Mitsuru Araya
Win 3 aws certificate associate
kazuhisa kawashima
Organizations周りの機能
kota tomimatsu
Win 3 aws certificate associate
kazuhisa kawashima
ClientVPNとPrivateca
kota tomimatsu
2013/08 JAWS_UG北九州 AWSを使った儲け方
Serverworks Co.,Ltd.
Jaws controltower
kota tomimatsu
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
Serverworks Co.,Ltd.
Aws lambda 事始め
Hiroyuki Hiki
re:Growth 2021 コンピュートサービスの進化を語る
Shuji Kikuchi
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
Takayoshi Kobayashi
AWSセキュリティ新機能と共に進化した My Individual blog (私の個人ブログ) since 2014
Mitsuhiro Yamashita
GAS + SaaS時々 AWSで自動化
Mitsuhiro Yamashita
Ad
Similar to Cloudnative online-2021-stepfunction
(20)
PDF
Anchors Aweigh!! - re:Invent報告@re:Port 2016 大阪
真吾 吉田
PPTX
Serverless frameworkを使ってみた話 at #nseg #90
ko ty
PDF
May the FaaS be with us!!
真吾 吉田
PPTX
Cloud Formation + Code シリーズで行うマルチアカウント・マルチリージョンデプロイ
桂一 中山
PDF
Azureをフル活用したサーバーレスの潮流について
真吾 吉田
PDF
AWS Lambda にまつわるおいしい話
美佳 松井
PDF
AWS SAMで始めるサーバーレスアプリケーション開発
真吾 吉田
PDF
Architecting on Alibaba Cloud - 超基礎編 -
真吾 吉田
PPTX
20191018 AWS Lambda
yamamotomsc
PPTX
AWSの勉強は試して試して楽しんで (AWS認定DVA本書きました)
Mitsuhiro Yamashita
PDF
20151030 オープンデータとセキュリティon aws
takaoka susumu
PDF
Programming AWS with Perl at YAPC::Asia 2013
Yasuhiro Horiuchi
PDF
20200728 AWS Black Belt Online Seminar What's New in Serverless
Amazon Web Services Japan
PDF
AWS Black Belt Techシリーズ AWS SDK
Amazon Web Services Japan
PDF
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Boss4434
PPTX
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
gree_tech
PPTX
re:Port 2017 #2 「AWS re:Invent 2017 参加レポート」
Mamoru Ohashi
PPTX
20130316 jaws ug-yokohama
Tetsuya Chiba
PDF
AWS Outposts/LocalZones/Wavelength勉強会
Mamoru Ohashi
PDF
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
Amazon Web Services Japan
Anchors Aweigh!! - re:Invent報告@re:Port 2016 大阪
真吾 吉田
Serverless frameworkを使ってみた話 at #nseg #90
ko ty
May the FaaS be with us!!
真吾 吉田
Cloud Formation + Code シリーズで行うマルチアカウント・マルチリージョンデプロイ
桂一 中山
Azureをフル活用したサーバーレスの潮流について
真吾 吉田
AWS Lambda にまつわるおいしい話
美佳 松井
AWS SAMで始めるサーバーレスアプリケーション開発
真吾 吉田
Architecting on Alibaba Cloud - 超基礎編 -
真吾 吉田
20191018 AWS Lambda
yamamotomsc
AWSの勉強は試して試して楽しんで (AWS認定DVA本書きました)
Mitsuhiro Yamashita
20151030 オープンデータとセキュリティon aws
takaoka susumu
Programming AWS with Perl at YAPC::Asia 2013
Yasuhiro Horiuchi
20200728 AWS Black Belt Online Seminar What's New in Serverless
Amazon Web Services Japan
AWS Black Belt Techシリーズ AWS SDK
Amazon Web Services Japan
Aws summits2014 ガリバーインターナショナル社内システムのaws化
Boss4434
AWS re:invent振り返りServerlessでサーバコスト以外もいろいろ削減
gree_tech
re:Port 2017 #2 「AWS re:Invent 2017 参加レポート」
Mamoru Ohashi
20130316 jaws ug-yokohama
Tetsuya Chiba
AWS Outposts/LocalZones/Wavelength勉強会
Mamoru Ohashi
20180508 AWS Black Belt Online Seminar AWS Greengrassで実現するエッジコンピューティング
Amazon Web Services Japan
Ad
Cloudnative online-2021-stepfunction
1.
AWS Stepfunction とSAMで 社内のバッチ処理を サーバレス化
2.
自己紹介 名前:富松 広太(とみまつ こうた) Blog:https://cloud-aws-gcp.hateblo.jp/ twitter:@kotamemento 所属:株式会社 Turn
and Frontier(関西クラウドベンダー) 2020 APN ALL AWS Certifications Engineer from:滋賀県
3.
社内で動いているバッチがあった ● 一定時間毎に全お客様に対して動作するバッチ処理 ● 2013年ごろからEC2で動作している ●
お客様数が増加するにつれEC2だとしんどい → 2年ぐらい前にサーバレス化
4.
Serverlessと言えばLambda
5.
Lambdaを複数利用することも可能 Serverlessと言えばLambda
6.
Serverlessと言えばLambda Lambdaを複数利用することも可能 →Lambda間の紐付け管理が面倒
7.
Lambdaを複数利用することも可能 →Lambda間の紐付け管理が面倒 LambdaにはError処理用にDLQ機能が存在 Serverlessと言えばLambda Queue 失敗
8.
Lambdaを複数利用することも可能 →Lambda間の紐付け管理が面倒 LambdaにはError処理用にDLQ機能が存在 →Error時の処理はSQS等に遷移するため 管理が面倒 Serverlessと言えばLambda Queue 失敗
9.
分散アプリケーションを オーケストレーションできる 処理の流れや結果を 可視化できる(右記例) 実行履歴やログを追跡可能 AWS step functions
概要
10.
AWS step functions
概要 専用の言語をjsonで記載し処 理フローを可視化 step functionのjsonとLambdaのコードをまとめて管理したい
11.
AWS step functions
概要 専用の言語をjsonで記載し処 理フローを可視化 step functionのjsonとLambdaのコードをまとめて管理したい →AWS SAM
12.
● Serverless Application
Modelの略 ● AWS上でサーバーレス アプリケーションを構築するための フレームワーク AWS SAMの概要
13.
● Serverless Application
Modelの略 ● AWS上でサーバーレス アプリケーションを構築するための フレームワーク AWS SAMの概要 #新規作成 sam init --runtime python3.8 #build cd sam-app sam build #deploy sam deploy --guided
14.
● Serverless Application
Modelの略 ● AWS上でサーバーレス アプリケーションを構築するための フレームワーク AWS SAMの概要 SAMでstep function記述がサポートされる Lambdaソースとまとめて管理が容易に、またYAMLでも記述可能に!
15.
● Serverless Application
Modelの略 ● AWS上でサーバーレス アプリケーションを構築するための フレームワーク AWS SAMの概要 SAMでstep function記述がサポートされる Lambdaソースとまとめて管理が容易に、またYAMLでも記述可能に! →上記を利用する中で試行錯誤したtipsを共有
16.
stepfunctionのtips ①例外処理 特定エラー の時 成功時 例外発生 成功時 例外発生 Lambdaのみ step
function利用時 Queue 失敗 分岐 出力を元に分 岐 step function自体のエラーハンドリングの仕組みを利用すると便利
17.
エラー内容に応じて分岐したい場合 例:timeoutだったらadmiin-notification処理に遷移 "Catch": [ { "ErrorEquals":
["States.Timeout"], "Next": "admin-notification" } ], stepfunctionのtips ①例外処理 単体で再実行したい場合 例:lambdaサービスエラー、timeout "Retry": [ { "ErrorEquals": [ "States.Timeout" ], "IntervalSeconds": 3, "MaxAttempts": 2, "BackoffRate": 1.5 } ] 例外処理をcatchするのはLambda、その後の処理はstep function
18.
stepfunctionのtips ①例外処理 例外発生 +catch 前項のLambdaでerrorをcatchし内容を出力、 その結果を元に分岐 Lambda内にエラー後の処理を書かず step functionで可視化すると管理しやすい+冪等性の単位で分割しやすい
19.
stepfunctionのtips ②並列処理(MAP) list型でデータを渡す データ毎の処理を実行
20.
stepfunctionのtips ②並列処理(MAP) list型でデータを渡す ※データ要領に制限あり データ毎の処理を実行
21.
mapはs3からデータを受けとる 記述方法がない stepfunctionのtips ②並列処理(MAP) list型でデータを渡す ※データ要領に制限あり 超える場合はS3に格納 受渡データが一定容量ならばmapは便利 データ容量が増え、制限をこしてしまう場合は・・
22.
list内のデータ毎に 別のstepfunction処理を実行 stepfunctionのtips ②並列処理(MAP) list型でデータを渡す ※データ要領に制限あり 超える場合はS3に格納 将来的にデータ容量が制限を超過する場合は上記のパターンで解決
23.
stepfunctionのtips ③運用まわり 実行名、ステータスで結果を閲覧可能 実行名をあとでフィルタしやすいようにしておくと便利
24.
stepfunctionのtips ③運用まわり 「context.log_stream_name」でcloudwatclogsのストリーム名まで 出力しておくと後々cloudwatchでログを確認しやすいので便利 コンソールで各処理の input,outputを閲覧可能
25.
● 例外処理 ● 並列処理 ●
運用まわり stepfunction + samでバッチ処理 下記でLambdaとは異なる考え方があるので利用すると便利 まとめ ありがとうございました!
Download