[JAWS-UG 三都物語 2014] 三都物語でAmazon SWFと握手！
4 likes1,332 views
2014/7/5 JAWS-UG 三都物語2014のSWF紹介資料
![1つのアプリケーションで逐次処理を実装すれば、システ
ムとしての作りは簡単
ただし・・・
• 全体の処理が長くなる
• 性能向上はスケールアップしかない
• 途中でエラーになった場合にリカバリできない
動画の処理（アーキテクチャその１）
public static void main(String[] args) throws Exception {
AWSCredentials credentials = new PropertiesCredentials(
RemoveNonUsedSecurityGroup.class.getResourceAsStream("/AwsCredentials.prope
AmazonEC2Client ec2 = new AmazonEC2Client(credentials);
ec2.setRegion(Region.getRegion(Regions.SA_EAST_1));
DescribeInstancesResult result = ec2.describeInstances();
Set<String> idSet = new HashSet<String>();
for (Reservation reservation : result.getReservations()) {
for (Instance instance : reservation.getInstances()) {
for (GroupIdentifier sg : instance.getSecurityGroups()) {
idSet.add(sg.getGroupId());
}
}
}
DescribeSecurityGroupsResult describeSecurityGroupsResult =
ec2.describeSecurityGroups();
List<SecurityGroup> sgList = new ArrayList<SecurityGroup>();
for (SecurityGroup sg : describeSecurityGroupsResult.getSecurityGroups()) {
if (idSet.contains(sg.getGroupId()) == false) {
if (sg.getIpPermissions().size() > 0) {
for (IpPermission ip : sg.getIpPermissions()) {
for (UserIdGroupPair pair : ip.getUserIdGroupPairs()) {
pair.setGroupId(null);
}
}
try{
ec2.revokeSecurityGroupIngress(new RevokeSecurityGroupIngressRequest(
sg.getGroupName(), sg.getIpPermissions()));
}catch(Exception e){}
}
sgList.add(sg);
}
}
for (SecurityGroup sg : sgList) {
if (sg.getGroupName().equals("default") == false) {
ec2.deleteSecurityGroup(new DeleteSecurityGroupRequest()](https://image.slidesharecdn.com/amazonswf-public-140704233521-phpapp01/85/JAWS-UG-2014-Amazon-SWF-10-320.jpg)
![[JAWS-UG 三都物語 2014] 三都物語でAmazon SWFと握手！](https://image.slidesharecdn.com/amazonswf-public-140704233521-phpapp01/85/JAWS-UG-2014-Amazon-SWF-25-320.jpg)
![[JAWS-UG 三都物語 2014] 三都物語でAmazon SWFと握手！](https://image.slidesharecdn.com/amazonswf-public-140704233521-phpapp01/85/JAWS-UG-2014-Amazon-SWF-36-320.jpg)
[JAWS-UG 三都物語 2014] 三都物語でAmazon SWFと握手！
- 2. • 片山 暁雄 • アマゾンデータサービスジャパン • 部長/ソリューションアーキテクト • 大阪府池田市出身 • Twitter • @c9katayama • #ヤマン • 好きなAWSサービス • Amazon SWF 自己紹介
- 3. 本日のテーマ Amazon Simple Workflow Service (Amazon SWF) エスダブルエフ/スウィフ
- 4. • Amazon SWFのメカニズム • デモ • まとめ
- 5. • Amazon SWFのメカニズム • デモ • まとめ
- 6. Amazon SWFとは Amazon SWFは • 「処理のステート管理」 • 「タスク間のコーディネート」 を行うためのフルマネージドサービス いわゆる「承認を行うアプリ」ではない
- 10. 1つのアプリケーションで逐次処理を実装すれば、システ ムとしての作りは簡単 ただし・・・ • 全体の処理が長くなる • 性能向上はスケールアップしかない • 途中でエラーになった場合にリカバリできない 動画の処理（アーキテクチャその１） public static void main(String[] args) throws Exception { AWSCredentials credentials = new PropertiesCredentials( RemoveNonUsedSecurityGroup.class.getResourceAsStream("/AwsCredentials.prope AmazonEC2Client ec2 = new AmazonEC2Client(credentials); ec2.setRegion(Region.getRegion(Regions.SA_EAST_1)); DescribeInstancesResult result = ec2.describeInstances(); Set<String> idSet = new HashSet<String>(); for (Reservation reservation : result.getReservations()) { for (Instance instance : reservation.getInstances()) { for (GroupIdentifier sg : instance.getSecurityGroups()) { idSet.add(sg.getGroupId()); } } } DescribeSecurityGroupsResult describeSecurityGroupsResult = ec2.describeSecurityGroups(); List<SecurityGroup> sgList = new ArrayList<SecurityGroup>(); for (SecurityGroup sg : describeSecurityGroupsResult.getSecurityGroups()) { if (idSet.contains(sg.getGroupId()) == false) { if (sg.getIpPermissions().size() > 0) { for (IpPermission ip : sg.getIpPermissions()) { for (UserIdGroupPair pair : ip.getUserIdGroupPairs()) { pair.setGroupId(null); } } try{ ec2.revokeSecurityGroupIngress(new RevokeSecurityGroupIngressRequest( sg.getGroupName(), sg.getIpPermissions())); }catch(Exception e){} } sgList.add(sg); } } for (SecurityGroup sg : sgList) { if (sg.getGroupName().equals("default") == false) { ec2.deleteSecurityGroup(new DeleteSecurityGroupRequest()
- 12. 各タスクを分割して、キューでつなぐ • 途中でプロセスエラーになっても落ちても、プロセス復 帰後は直前のキューまで戻れる • 各タスクを別のサーバに乗せることが可能 • スケールアウトと冗長化を実現 ただし・・・ • 全体の処理は長いまま • 各タスクが、次のタスクを意識しないといけない エンコード処理 (スマホ向け） エンコード処理 (スマホ向け） 動画の処理（アーキテクチャその2） EC2 EC2
- 14. 「タスクの制御」処理を導入 • タスク実行の順序をこの処理に集めることで、タスク間を疎結合に • この処理が状態管理をすることで、タスクの並列実行が可能に • タスクの戻り値で次のタスクを変えたりできる • 処理の履歴を記録できる ただし・・・ • 状態管理や処理履歴記録など、複雑な実装が必要 • 「タスクの制御」処理自体がSPOFで、かつスケーラビリティに欠ける 動画の処理（アーキテクチャその3） タスクの制御
- 16. 「タスクの制御」を分割する • 「タスクの制御」のうちでめんどくさいものは「出来る奴」にやって もらう • 状態管理、次タスクへのキューイング、タスク終了の補足、実行履歴の 記録、エラーの補足、etc… • やることを決める部分だけをステートレスに作る 動画の処理（アーキテクチャその4） ＝ Amazon SWF出来る奴 Amazon SWF = 出来る中間管理職
- 19. SWF用語 ワークフロースターター • ワークフローをキックするプログラム • キックするたびに「ワークフローエグゼキューション」が作成される ワークフローエグゼキューション • ワークフローのインスタンス • 各ワークフローエグゼキューションごとに以下のような情報を保持 • WorkflowID：ユーザー採番の任意ID – 決済番号や請求書番号などを設定（重複時はエラー） • RunID:自動生成IDされるユニークID • ワークフローヒストリー：入出力情報含むタスクの実行履歴 • 開始時間 • タイムアウト設定
- 20. SWF用語 ドメイン • この区分ごとに、ワークフローエグゼキューションやタスクリストが管理さ れる • プログラム言語でいう「ネームスペース」のような概念 タスクリスト • デサイダー/アクティビティがポーリングをするためのキュー • デサイダーとアクティビティごとにキューを設定 • タスクリストに入った1つのタスクは、1つのデサイダー/アクティビティし か取得しないことを保証 • タスクリストは、ドメイン内で共有 • 異なるワークフロースターターから始まる処理にも利用可能
- 22. SWF用語 デサイダー • 次のタスクを決めるタスク • タスクリストをポーリングして、タスクがあった場合に、 次に実行するアクティビティを指定 アクティビティ • ワークフロー内の個別のタスクの処理 • デサイダーと同様、タスクリストをポーリングするため、 オンプレミスや既存DCでの動作も可能 • 人手を介する処理でもOK
- 23. ここまでのまとめ Amazon SWFは中間管理職 • デサイダーとアクティビティのコーディネート • ステート管理 SWFのアーキテクチャでシステムを構築すると、以下の問題 が解決できる スケーラビリティ アベイラビリティ 並列処理の制御 ネットワーク/FW越しの連携
- 24. NASA JPL 火星 AWS
- 26. AWS SDK • Java, C#, Ruby, PHP, Python Flow Framework Java, Ruby
- 27. • Amazon SWFのメカニズム • デモ • まとめ
- 28. 本日のデモは音系です ド レ ミ ファ ソ ラ シ アクティビティ（鳴る奴） デサイダー （演奏する奴）
- 29. ド レ ミ ファ ソ ラ シ ド！ド！ はい
- 31. デモ１ ド レ ミ ファ ソ ラ シ
- 32. デモ2 ド レ ミ ファ ソ ラ シ
- 34. © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 34 いざ本番
- 35. • Amazon SWFのメカニズム • デモ • まとめ
- 37. 詳しくは・・・ • AWS クラウドサービス活用資料集 • Googleで検索！ • AWS Black Belt Tech Webinar – ほぼ毎週水曜18:00から
- 38. AWS Summit Tokyo 2014 • 2014年7月17日(木) 〜 18日(金) • グランドプリンス新高輪 (国際館パミール) • 来場無料 (要事前登録) • http://www.awssummittokyo.com/ - 申し込み受付中！ • 登壇企業様多数 - すかいらーく様、HGST様、クオリカ様、 積水化学工業様、コー セー様、良品計画様、SAPジャパン様、NTTデータ様、日通情報 システム様、NTTドコモ様、日立製作所様、丸紅様、ソニー銀行 様、他多数
- 39. AWS認定資格の大阪受験会場が開設！ • 中之島に受験会場を設立 • 以下の試験の受講が可能 – AWS 認定ソリューションアーキテクト – アソシエイト – AWS 認定デベロッパー – アソシエイト – AWS 認定システムオペレーション（SysOps）アドミニスト レーター – アソシエイト • http://aws.amazon.com/jp/certification/
- 41. ありがとうございました