![Back To Basics [Dubstep Remix]
• Always Batch Due to S3
EC2](https://image.slidesharecdn.com/20140703geechs-140715061713-phpapp01/85/AWS-33-320.jpg)
![Amazon Kinesis
リアルタイムでビッグデータを取り込むためのサービス
Data
Sources
App.4
!
[Machine
Learning]
!
!
!
A
WS
En
dp
oin
t
App.1
!
[Aggregate
&
De-‐Duplicate]
Data
Sources
Data
Sources
Data
Sources
App.2
!
[Metric
Extraction]
S3
DynamoDB
Redshift
App.3
[Sliding
Window
Analysis]
Data
Sources
Availability
Zone
Shard 1
Shard 2
Shard N
Availability
Zone
Availability
Zone](https://image.slidesharecdn.com/20140703geechs-140715061713-phpapp01/85/AWS-36-320.jpg)
AWSが誕生するまでの秘話
- 2. Who am I ? • 堀内 康弘 (ほりうち やすひろ) • 1978年生まれ 山梨県出身 • AWS テクニカルエバンジェリスト • 140回以上の講演 • 60回以上のハンズオン • 250本以上のブログ記事 Amazon Web Services ブログ http://aws.typepad.com/aws_japan/ • 10+ years web engineer in startups • Director of V-cube (perl), 2001 - 2006 • CTO of FlipClip (perl), 2006 - 2009 • CTO of gumi (python), 2009 - 2012 @horiuchi horiyasu フォロー歓迎!
- 3. Amazon.com
- 4. amazon.com, 1995 Copyright © 2012 Amazon Web Services
- 5. 世界最大のEコマースサイトに アメリカ カナダ 中国 フランス ドイツ イタリア 日本 スペイン イギリス 数十億の商品 1週間で5000万品の更新 amazon.com, today
- 7. AWSクラウドの起源は、 Amazon社内の ビジネス課題を解決するために ⽣生まれた API
- 15. Amazon S3 - 容量無制限で耐久性の高いストレージ • データがなくならない • いくらでも保存できる • ストレージ用サーバやディスク の運用をやらなくてよい • 料金は使った分だけの従量課金 • セキュリティ機能も万全 クラウドストレージ
- 17. Amazon アソシエイト (アフィリエイト) • サイトに貼ったリンクを経由して Amazon.co.jp でお買い物をした場合、 購入金額に対して3.5-8％の報酬をお支払い 購入金額に対してのみの広告費の支払い = 低コスト構造
- 18. Amazonアソシエイトの課題 • アフィリエイトプログラムの成長に伴い、 支払計算システムの処理所要時間の遅延が課題に Order DB Payments Service 隔時間集計 フラットファイル ⽇日次集計 ファイル 隔時間 ⽇日次 ⽉月末 C++ App C++ App C++ App 遅延 増加 Amazon.com∼ 2010 大量データの分散処理化の検討が急務に
- 19. Amazon Elastic MapReduce - 大規模バッチ処理環境 • 必要なときに必要なだけ サーバを立ち上げて バッチ処理可能 • 料金は1時間単位の従量課金 • 使い終わったら課金は停止 並列バッチ処理
- 21. 仮想サーバーだけではないAWSのサービス お客様のアプリケーション ストレージ EBS, S3, Glacier, Storage Gateway コンテンツ配信 CloudFront ネットワーク VPC, Route 53, Direct Connect 認証とログ IAM, CloudTrail, CloudHSM 監視 Cloud Watch Web管理理画⾯面 Management Console デプロイと⾃自動化 Elastic Beanstalk, Cloud Formation, OpsWorks コマンドライン インターフェース CLI ライブラリ & SDKs Java, PHP, .NET, Python, Ruby グローバルインフラ リージョン、アベイラビリティゾーン、エッジロケーション AZRegion コンピュート処理理 EC2, Auto Scaling, Elastic Load Balancing, Workspaces データベース RDS, DynamoDB, Redshift, ElastiCache 分析 Elastic MapReduce, Kinesis, Data Pipeline アプリケーションサービス AppStream, Cloud Search, SWF, SQS, SES, SNS, Elastic Transcoder
- 24. Start Simple • Write Events File on Device • Periodically Upload to S3 • Process into Redshift • Point GUI Tool to Redshift 2014-‐01-‐24,nateware,e4df,login 2014-‐01-‐24,nateware,e4df,gamestart 2014-‐01-‐24,nateware,e4df,gameend 2014-‐01-‐25,nateware,a88c,login 2014-‐01-‐25,nateware,a88c,friendlist 2014-‐01-‐25,nateware,a88c,gamestart Profit!
- 25. Amazon Redshift 10 GigE (HPC) Ingestion Backup Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores Amazon S3/DynamoDB JDBC/ODBC 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node Leader Node • リーダーノード - SQLエンドポイント - メタデータの保存 - クエリ実行のコーディネート ! • コンピュートノード - カラムナ型のストレージ - Amazon S3を介したデータの ロード、バックアップ、リストア - Amazon DynamoDBからの並列ロード ! • シングルノードでも利用可能
- 27. More Data Sources • Also Collect Server Logs • Periodically Upload to S3 • Stuff into Redshift • External Analytics Data Too External Analytics EC2
- 28. Dealing With Messy Data • Different File Formats • Device vs Apache vs CDN • Cleanup with EMR Job • Output to Clean Bucket • Load into Redshift EC2
- 29. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns EC2
- 30. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns • Or Stream into EMR EC2
- 31. リアルタイム分析もできます
- 32. Back To Basics 2014-‐01-‐24,nateware,e4df,login 2014-‐01-‐24,nateware,e4df,gamestart 2014-‐01-‐24,nateware,e4df,gameend 2014-‐01-‐25,nateware,a88c,login 2014-‐01-‐25,nateware,a88c,friendlist 2014-‐01-‐25,nateware,a88c,gamestart
- 33. Back To Basics [Dubstep Remix] • Always Batch Due to S3 EC2
- 34. Need Data Faster! • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift EC2
- 35. Lots of Ins and Outs • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift • Stream to Spark on EMR • Storm via Kinesis Spout • Custom EC2 Workers EC2 EC2
- 36. Amazon Kinesis リアルタイムでビッグデータを取り込むためのサービス Data Sources App.4 ! [Machine Learning] ! ! ! A WS En dp oin t App.1 ! [Aggregate & De-‐Duplicate] Data Sources Data Sources Data Sources App.2 ! [Metric Extraction] S3 DynamoDB Redshift App.3 [Sliding Window Analysis] Data Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone
- 38. Clash of Clans Amazon Kinesis Redshift Clickstream archive EC2: In-game engagement trends dashboard Real-time clickstream processing app Kinesis: Real-time data stream of in-game activity Multiple Kinesis applications: Dashboards, analytics and storage Redshift: Business intelligence reporting and interactive queries S3 and Glacier: Data storage and long term archival In-game activity S3 Aggregate statistics Business-intelligence user Kinesis-enabled apps on EC2
- 39. 【参考】S3、EMR、Redshiftでデータ解析の実例 • データ分析が支えるスマホゲーム開発 ~ユーザー動向から見えてくるアプリ ケーションの姿~ • 越智 修司 (著), 高田 敦史 (著), 丸山 弘 詩 (編集) http://amzn.to/1ih9n9M
- 40. AWS最新情報
- 43. 多種多様なインスタンスタイプ GPU一般用途 バランス型 メモリ 最適化 ストレージとIO 最適化 コンピュート 最適化 CR1M2CC2C1 HI1 CG1M1 G2M3 R3C3 I2 HS1
- 44. M3インスタンス - 汎用タイプ • Intel Xeon E5-2670 (Sandy Bridge) • SSDのインスタンス ストレージ CPU性能、メモリー、ネットワークのバランスがとれたタイプ 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) m3.medium 1 3.75 1 x 4 $0.101 m3.large 2 7.5 1 x 32 $0.203 m3.xlarge 4 15 2 x 40 $0.405 m3.2xlarge 8 30 2 x 80 $0.810
- 45. C3インスタンス - CPU最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク (SR-IOV, VPCのみ) • クラスタリングサポート CPU性能に特化したタイプ。CPUあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) c3.large 2 7 2 x 16 $0.128 c3.xlarge 4 14 2 x 40 $0.255 c3.2xlarge 8 28 2 x 80 $0.511 c3.4xlarge 16 55 2 x 160 $1.021 c3.8xlarge 32 108 2 x 320 $2.043
- 46. R3インスタンス - メモリ最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、 高い秒間あたりのパケット性 能を持つ拡張されたネットワー ク (SR-IOV, VPCのみ) メモリに特化したタイプ。メモリGiBあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) r3.large 2 15 1 x 32 $0.210 r3.xlarge 4 30.05 1 x 80 $0.420 r3.2xlarge 8 61 1 x 160 $0.840 r3.4xlarge 16 122 1 x 320 $1.680 r3.8xlarge 32 244 2 x 320 $3.360
- 47. I2インスタンス - ストレージ最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • TRIMサポート • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク (SR-IOV, VPCのみ) ストレージに最適化されており、高いランダムI/O性能、IOPSを提供 i2.8xlargeで秒間365,000超のランダムリードと秒間315,000超のランダムライト 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) i2.xlarge 4 30.05 1 x 800 $1.051 i2.2xlarge 8 61 2 x 800 $2.101 i2.4xlarge 16 122 4 x 800 $4.202 i2.8xlarge 32 244 8 x 800 $8.404
- 52. AWS Summit Tokyo 2014 • 2014年7月17日(木) ∼ 18日(金) • グランドプリンス新高輪 (東京・品川) • 来場無料 (要事前登録) • http://www.awssummittokyo.com/ • クルーズ様、ソニー様、グラニ様、クックパッド様など多 数の企業が登壇 「あなた」のクラウドがここに