スタートアップでのAWS(Amazon Web Services)活用事例
48 likes17,541 views
ーーーーーーーーーーーーーーーーーーーーーーー schoo WEB-campusは「WEBに誕生した、学校の新しいカタチ」。 ＷＥＢ生放送の授業を無料で配信しています。 ▼こちらから授業に参加すると、先生への質問や、ユーザーとのチャット、資料の拡大表示等が可能です。 https://schoo.jp/class/450/room ーーーーーーーーーーーーーーーーーーーーーーー
![Amazon Kinesis
⼤大規模なストリーミングデータをリアルタイムで処理理
どんな量量のデータも、どんな数のソースも受け付ける
必要に応じてスケールアップ/ダウン可能
EMR ConnectorでHiveクエリでもストリームにアクセス
Data
Sources
Availability
Zone
Data
Sources
Data
Sources
AWS
Endpoint
Data
Sources
!
!
!
!
Availability
Zone
Shard 1
Availability
Zone
App.1
[Aggregate
&
De-‐Duplicate]
S3
App.2
[Metric
Extrac=on]
Shard 2
Shard N
DynamoDB
App.3
[Sliding
Window
Analysis]
Redshift
Data
Sources
App.4
[Machine
Learning]
Kinesis](https://image.slidesharecdn.com/schoo201403040303-140303192641-phpapp02/85/AWS-Amazon-Web-Services-64-320.jpg)
スタートアップでのAWS(Amazon Web Services)活用事例
- 1. スタートアップでの AWS(Amazon Web Services) 活⽤用事例例 2014年年3⽉月4⽇日 アマゾンデータサービスジャパン株式会社 髙⼭山博史 篠原英治
- 2. ⾃自⼰己紹介 ! 名前： ・髙⼭山 博史 / テクニカルインキュベーター ! 役割： ・スタートアップ向け技術⽀支援やコスト削減提案担当 ・以前はSIerや通信キャリアで”SE”をやってました
- 3. ⾃自⼰己紹介 ! 名前： ・篠原 英治 / ソリューションアーキテクト ! 役割： ・スタートアップ向け技術⽀支援担当 ・IT業界の現場で10年年以上エンジニアしてます
- 4. SchooでのAWS関連授業の 受講は初めてですか？ ! 1. はじめて！ ! 2. 授業に出席したことがある！ スタートアップならおさえておきたいAWS⼊入⾨門〜～メディア露露出時のピーク対策編〜～ https://schoo.jp/class/356
- 5. 本⽇日の⽬目次 ! 前回のおさらい ! スタートアップ事例例紹介 ! まとめ ! 質疑応答
- 6. ⽬目次 ! 前回のおさらい ! スタートアップ事例例紹介 ! まとめ ! 質疑応答
- 7. 前回のおさらい ! AWSとは？ ! 主なサービス(アイコンも覚える) ! 基本構成 スタートアップならおさえておきたいAWS⼊入⾨門〜～メディア露露出時のピーク対策編〜～ https://schoo.jp/class/356
- 14. もう少し具体的に… ! 初期費⽤用不不要で使った分だけの 従量量課⾦金金(⻑⾧長期契約不不要) ! スケールアップ/ダウンが容易易 ! 汎⽤用的な技術で構成 ! 便便利利なマネージドサービスが豊富 ! 世界中のデータセンタ群を利利⽤用出来る
- 16. AWSの豊富なサービス お客様のアプリケーション ライブラリ & SDKs Java, PHP, .NET, Python, Ruby, node.js IDEプラグイン Eclipse Visual Studio メッセージ Amazon SNS Amazon SQS Amazon SES コンテンツ配信 Amazon CloudFront コンピュータ処理理 Amazon EC2 Auto Scale Web管理理画⾯面 Management Console 認証 AWS IAM デプロイと⾃自動化 モニタリング Amazon CloudWatch 検索索エンジン Amazon Cloud Search 分散処理理 AWS Elastic Beanstalk AWS Cloud Formation AWS OpsWorks ワークフロー管理理 Amazon SWF トランスコード Elastic MapReduce ストレージ Amazon S3 データベース Amazon EBS Amazon Glacier AWS StorageGateway Amazon RDS Amazon DynamoDB Amazon ElastiCache Amazon Redshift ネットワーク & ルーティング AZ Application Service Amazon Elastic Transcoder Amazon VPC / ELB / Amazon Route 53 /AWS Direct Connect Region Development & Administration AWS グローバルインフラ Geographical Regions, Availability Zones, Points of Presence Infrastructure Service
- 17. とりあえず、おさえておきたいサービス4つ お客様のアプリケーション ライブラリ & SDKs Java, PHP, .NET, Python, Ruby, node.js IDEプラグイン Eclipse Visual Studio メッセージ 認証 AWS IAM コンテンツ配信 Amazon CloudFront コンピュータ処理理 Amazon EC2 デプロイと⾃自動化 モニタリング Amazon CloudWatch 検索索エンジン Amazon Cloud Search Amazon SNS Amazon SQS Amazon SES Auto Scale Web管理理画⾯面 Management Console 分散処理理 AWS Elastic Beanstalk AWS Cloud Formation AWS OpsWorks ワークフロー管理理 Amazon SWF トランスコード Elastic MapReduce ストレージ AZ Application Service Amazon Elastic Transcoder データベース Amazon S3 Amazon EBS Amazon Glacier AWS StorageGateway Amazon RDS Amazon DynamoDB Amazon ElastiCache Amazon Redshift ネットワーク & ルーティング Amazon VPC / ELB / Amazon Route 53 /AWS Direct Connect Region Development & Administration AWS グローバルインフラ Geographical Regions, Availability Zones, Points of Presence Infrastructure Service
- 19. とりあえず、おさえておきたいサービス4つ Amazon S3 ・容量量無制限のオンラインストレージ 1 ・⾃自動的に複数DCに保存し、 ⾼高い耐久性を実現 ELB(Elastic Load Balancing) ・従量量課⾦金金で使えるロードバランサー 1 ・GUIで各種操作可能 ・AZをまたいだロードバランシングも可能
- 20. いずれも既存の知識識で使えます！ Amazon EC2 1ｃ ・必要なときに必要なだけ使えるLinux/Windowsサーバ ・プラスアルファで便便利利な機能 Amazon S3 1 ・業界標準APIで操作するストレージ ・プラスアルファで便便利利な機能や⾼高い耐久性 Amazon RDS 1 ・⼀一般的なMySQLまたはPostgreSQL ・プラスアルファで便便利利な機能 ELB(Elastic Load Balancing) 1 ・GUIで操作出来るL4のロードバランサ ・プラスアルファで便便利利な機能
- 26. 本⽇日の⽬目次 ! 前回のおさらい ! スタートアップ事例例紹介 ! まとめ ! 質疑応答
- 27. 前提として… ! いただいた構成図を元に書き直しています ! 特徴をご説明するために構成をかなり簡略略化し て表現しています ! サービスごとに1〜～2点ポイントをご紹介します ! ご協⼒力力いただいた皆様ありがとうございまし た！
- 31. ご利利⽤用者さまの声 ! ネットで情報がたくさんみつかり、便便利利 な機能がそろっているため、やりたい事 がすぐに実現でき、時間が⾜足りないス タートアップにはとても助かります。 BASE株式会社 CTO 渡邉 涼⼀一さま
- 37. CloudFront ! 従量量課⾦金金で使えるContents Distribution Network ! ユーザからのアクセスを、最も近いエッジサーバに誘導する ことで、ユーザへの配信を⾼高速化 ! エッジサーバでは、コンテンツのキャッシングを⾏行行い、オリ ジンに負荷をかけず効率率率的に配信 1.最適なエッジに リクエスト Amazon 3.エッジにキャッシュがなければ CloudFront オリジンにリクエスト （Edge Location) 負荷軽減 レスポンス向上 クライアント オリジン配信 サーバ キャッシュ コンテンツ 2.キャッシュを配信 5.取得したコンテンツを配信しキャッシュ 4.エッジにコンテンツ を送信
- 38. ご利利⽤用者さまの声 ! サービス開始当初はコーディネート画像の合成にNFS を組んで画像サーバーをマウントしていましたが、イ ンスタンスが増えても⼤大丈夫なようにS3からアイテ ム画像をダウンロードしてコーデ画像を各インスタン スで合成するようにしたおかげでNFSを気にすること なくスケーラブルになりました。 ! ベースのAMIとchefのレシピの適⽤用で即座にインス タンスがセットアップできる点も⼿手軽で気に⼊入ってい ます。 株式会社VASILY CTO 今村 雅幸さま
- 44. 参考：AWSのメール配信 1. EC2上にMail Transfer Agent (MTA)を 構築して配信 2. Amazon Simple Email Service (SES)の 利利⽤用 3. 外部Email配信サービスの利利⽤用 資料料あります (巻末にリンクあり) モバイルプッシュ 通知も出来ます
- 45. Simple Email Service (SES)の利利⽤用 ! 利利点 • AWSが管理理するクリーンに保たれた（Spammer登録などされ ていない）⼤大きなIPアドレスプールを使ってメール送信可能 • MTAを⾃自前で⽴立立てなくてもAPIを叩く事でメール送信可 • 簡単DKIM設定 ! 注意点 • 現状”⽇日本国内の携帯キャリアの制限”を⼗十分考慮し た配信アルゴリズムにはなっていない(特に迷惑メー ルフィルタの考慮など) • BounceやComplaintの処理理を⾏行行っていないと送信レートの抑 制や送信停⽌止措置が取られる事もある （IPアドレスプールをクリーンに保つとともに、世の中のメー ルの信頼性・健全性向上を促すため）
- 46. ご利利⽤用者さまの声 ! (元々EC2にてご利利⽤用。ユーザ増加のタイミングで…) MySQLはRDSに移⾏行行を、Redis内の永続化データは DynamoDBに移⾏行行を、⾮非常にスムーズに⾏行行う事がで きて運⽤用コストも⼤大幅に下がりました。特に DynamoDBは、スループットを簡単に上げる事で何 度度もトラフィックのスパイクを⽣生き延びる事が出来て、 ⾮非常に重宝しています（次はタイミングを⾒見見てEC2の Redis をElasticacheに移⾏行行したいと思っています） 株式会社TIMERS CTO 椎名 アマドさま
- 50. NewRelicはお⼿手軽 ! AWSのリソース監視機能 CloudWatchでもOKですが、 サードパーティーのリソース 監視SaaSを利利⽤用する⽅方法も あります ! たとえば”NewRelic”など ・15⽇日以上の履履歴参照が出来る ・EC2のメモリ使⽤用量量がわかる ・SaaS型なので監視サーバ⾃自体の ⼼心配をしないでよい 下記リンクから申し込むと無料料利利⽤用枠あり(2014/3/1現在) http://newrelic.com/aws
- 52. ご利利⽤用者さまの声 ! 必要な時に必要な台数と時間だけサーバを増減できる ためTV放送などの⼀一時的な⾼高トラフィックに柔軟に 対応できるのが助かっています。 ! 負荷テストには負荷を「かける側」と「受ける側」の 複数台のサーバが必要ですがスポットインスタンスを 使うことで安価でテストすることができています。 ! インフラ専⾨門部隊がいない中でサーバの増減や設定が ⼿手軽にそして即座に⾏行行えるのがAWSの魅⼒力力です。 株式会社ブラケット ウェブエンジニア 牧野圭将 さま
- 56. Amazon CloudSearchとは ! フルマネージドなクラウド型検索索サーバー • データやトラフィックに合わせてシームレスに拡張/縮⼩小 • サーバーの運⽤用/管理理コストを⼤大幅に低減 • 安価な従量量課⾦金金制 ! 豊富な検索索機能 • 検索索パラメータを簡単に変更更可能 • 検索索に関する専⾨門知識識がなくても構築可能 • 今後も多くの機能拡張が予定されているプロダクト
- 59. ご利利⽤用者さまの声(抜粋) ! ⼿手軽で好きにカスタマイズもできる柔軟性があるので 重宝しています。 ! キャッシュサーバーは当初⾃自前でやっていたのですが、 ElastiCacheで簡単につかえるのでとても便便利利ですね。 ! SNSやSQSも⾊色々と便便利利に利利⽤用しています。 ! Job queue などは⾃自前でworkerを動かしてやって いますが、Job の量量に応じてworkerの量量を調整でき るのでこちらも重宝しています。 ! 料料理理写真はCloudFront + ⾃自前のImageサーバ構成 だが運⽤用の⼿手間はほとんどかかっていないです。 VUZZ株式会社 CTO 清⽥田史和 さま
- 62. ポイント Bigdata向けマネージドサービスの活⽤用 ELB ⼤大量量データ分析系は S3, EMR, Redshift CloudFront Web/App Fluentd 速報系はMongoDB RDS MongoDB S3 DB Redis EC2 Redshift EMR Datastore & Analyze レコメンドは⼆二系統の洗練サイクル Glacier マネージドサービスを活⽤用しアプリ開発に注⼒力力 MultiAZ
- 64. Amazon Kinesis ⼤大規模なストリーミングデータをリアルタイムで処理理 どんな量量のデータも、どんな数のソースも受け付ける 必要に応じてスケールアップ/ダウン可能 EMR ConnectorでHiveクエリでもストリームにアクセス Data Sources Availability Zone Data Sources Data Sources AWS Endpoint Data Sources ! ! ! ! Availability Zone Shard 1 Availability Zone App.1 [Aggregate & De-‐Duplicate] S3 App.2 [Metric Extrac=on] Shard 2 Shard N DynamoDB App.3 [Sliding Window Analysis] Redshift Data Sources App.4 [Machine Learning] Kinesis
- 65. ご利利⽤用者さまの声(抜粋) ! WEB及びアプリエンドポイントに関しては快適にご 利利⽤用頂くために時間別に予測を⽴立立ててインスタンスを 増減しています。また静的コンテンツのCloudFront 配信も⾏行行っています。 ! アプリは基本書き込みを⾏行行わずにfluentdを使い、 MongoDBをシンクに⽤用いた速報系及び S3-‐‑‒>RedShift/EMRを経由する分析系の⼆二系統で 洗練サイクルを回しています。 ! 最近は逐次処理理をKinesisに以降降したいと考えていま すが、まだ利利⽤用リージョンがサポートされていないの で使える⽇日を⼼心待ちにしています。 株式会社Gunosy CTO ⽯石橋雅和さま
- 67. Omiaiの システム構成(抜粋) API Web S3 API Front-‐‑‒End Front-‐‑‒End Database Web Database Admin/Shared Staging AZ Tokyo② AZ Tokyo① Tokyo AZ Oregon① AZ Oregon② Oregon
- 68. ポイント 複数リージョンの利利⽤用 API Web S3 API Web Front-‐‑‒End Front-‐‑‒End 参照系サーバのみ Oregonに展開し Database Database Admin/Shared US展開のためTokyoリージョンに加えて、 Oregonリージョンも利利⽤用 Staging ＊ただし1リージョン+CloudFront活⽤用で充分な場合も多い AZ Tokyo② AZ Tokyo① Tokyo AZ Oregon① AZ Oregon② Oregon
- 73. ポイント② 世界中を低レイテンシでカバーするため4リージョン活⽤用 マスターデータはOne Fact in One Placeを実現 参照データはグローバルにレプリケート CloudFront replication replication replication MultiAZ MultiAZ EU US Master Database MultiAZ MultiAZ マスターデータは東京リージョン Tokyo Singapore データはキャッシュとしてレプリケート
- 74. ご利利⽤用者さまの声 (よかったポイントをお伺いしました) ! ミドルウェア構成に合わせてインスタンスタイプごと のベンチマークを測り最適な構成を選択できたこと ! 負荷対策を考慮する際、スケールアップという選択が 容易易に⾏行行えるようになったこと ! ⼤大容量量データの保存、解析の⼯工数が削減できたこと 株式会社メタップス プラットフォーム事業部 システム開発チーム マネージャー ⼩小森⾕谷⼀一⽣生 さま
- 75. 本⽇日の⽬目次 ! 前回のおさらい ! スタートアップ事例例紹介 ! まとめ ! 質疑応答
- 76. AWSのメリット ! 初期費⽤用不不要で使った分だけの 従量量課⾦金金(⻑⾧長期契約不不要) ! スケールアップ/ダウンが容易易 ! 汎⽤用的な技術で構成 ! 便便利利なマネージドサービスが豊富 ! 世界中のデータセンタ群を利利⽤用出来る
- 77. スタートアップに最適！ ! 初期費⽤用不不要で使った分だけの スモールスタートが出来る！ 従量量課⾦金金(⻑⾧長期契約不不要) 急なサービス成⻑⾧長にも対応出来る！ ! スケールアップ/ダウンが容易易 効率率率的な利利⽤用でコスト削減も可能！ ! 汎⽤用的な技術で構成 既存の技術知識識で、すぐに始められる ! 便便利利なマネージドサービスが豊富 少ない⼈人数で効率率率的に運⽤用出来る！ グローバル展開も容易易 ! 世界中のデータセンタ群を利利⽤用出来る
- 78. 本⽇日の⽬目次 ! 前回のおさらい ! スタートアップ事例例紹介 ! まとめ ! 質疑応答
- 79. ! 質疑応答
- 81. 本授業はAWSユーザさまの ご協⼒力力より実施できました！ ! ! ! ! ! ! ! ! BASEさま VASILYさま(iQON) TIMERSさま(Pairy) Bracketさま(stores.jp) VUZZさま(SnapDish) Gunosyさま NetMarketingさま(Omiai) Metapsさま ご協⼒力力ありがとうございました！
- 83. ! 関連資料料
- 85. 参考資料料②：各サービスの説明 ! AWS マイスターシリーズ ・EC2編 ・RDS編 ・ElastiCache編 ・ELB編 ・CloudWatch/Auto Scaling編 ・CloudFront編などなど http://aws.amazon.com/jp/aws-‐‑‒jp-‐‑‒introduction/
- 86. 参考資料料③：メール送信とモバイルプッシュ ! AWSからのメール送信 ! SNSモバイルプッシュ通知 http://aws.amazon.com/jp/aws-‐‑‒jp-‐‑‒introduction/
- 87. 参考資料料④：コスト削減とVPC ! AWS マイスターシリーズ ・リザーブドインスタンス& スポットインスタンス編 ! AWS マイスターシリーズ ・Amazon VPC編 http://aws.amazon.com/jp/aws-‐‑‒jp-‐‑‒introduction/
- 88. 参考資料料⑤：MongoDBをご利利⽤用の場合 ! MongoDB NoSQL Database in the Cloud : MongoDB on AWS http://media.amazonwebservices.com/ AWS_̲NoSQL_̲MongoDB.pdf