201909 mediado.go 駆け出しGopherの初めてのバッチ設計で学んだこと
- 6. 電子書店がやることは
- 8. 電子書店の持つDBの本情報を毎日更新する { book_id: 1 book_name: “ワンピース93巻” price: 400 thumbnail_path:“https://thumbnail_url” } サムネ画像はメディ アドゥ が用意して いる 1日多くて2000件
- 9. 問題
- 10. 問題 サムネ画像が重い
- 11. つまり電子書店を運営するには
- 12. バッチが必要
- 13. AWS で実現したい
- 14. 考えられた選択肢 ・AWS Batch ・SQS + Lambda ・Step Functions + Lambda
- 15. AWS Batch
- 18. そもそもバッチの管理とは
- 19. バッチジョブ管理システムは二種類ある ジョブのプロセスを制御 ジョブを複数リソースに割り当てる AWS Black Belt Online Seminar 2017 AWS Batch より AWS Batchはこっち JobA JobB JobC JobA JobB JobAJobB キューイング
- 20. SQS + Lambda
- 23. そこで
- 24. Step Functions
- 27. State Typeは７種類ある Task 単一の処理を行う Wait 指定した時間の間、処理をストップする Pass 入力をそのまま出力へ渡す Parallel 並列に処理を実行する Choice 一定の条件により分岐する Fail 実行結果を失敗として終了する Succeed 実行結果を成功として終了する
- 29. Step Functionsで使えるサービス dynamoDB SNS ECS SQS Glue Lambda Batch SageMaker
- 30. ということで
- 31. バッチを設計してみました
- 35. 百聞は一見にしかずということで
- 41. ご清聴ありがとうございました