ハンズのDynamoDBクラウドパターン

Copyright © 2015. All rights reserved.
ハンズラボ株式会社
ハンズのDynamoDBクラウドパターン
山﨑直行
2015年2月7日 JAWS-UG KANSAI特別編

自己紹介
山﨑直行
元SI的な普通のエンジニア
主に担当した案件
ハンズEC関連
ハンズ基幹システム関連 ←いまここ

長谷川からの指令
 画面見たらパッと表示しろ
 データ更新はなる早ね
(確定データが来たら夜間に一括更新とかやめろ)
 ブイーンといじったらスケールするようにしろ
 サービス落とすな

そう、DynamoDBならね
Dynamo先生ならなんとかしてくれる

DynamoDBにデータをどんどん入れたい
入れなければいけないデータ
POSデータ 20万/day (10/secくらい)
在庫データ 20万～/day
商品マスタ 6500万SKU (更新は100万/dayくらい)
Etc…
4

SQSをつかった処理の定番のパターン
5
処理
データがどんどんくる
データをキューとして貯める
SQSからキューを順番に取り出して
その分をDynamoDBに登録する
並列で並べればスケーラブル
(AutoScale)
重複チェック
同じデータをつっこまないよ
う登録済みhash値をチェック
(並列実行しても安心)

まずはPOSデータを頑張って捌こう
POSデータの現状
テックPOSから1取引1CSVでガンガンアップされてる
自前でPOS作るからそこからも来るデータも考慮する
6
やらないといけないこと
CSVデータをDynamo更新用に変換(JSONとか)
何回やっても同じ結果(再現性確保)
エラーが起こっても原因が追えるようにする

処理フローをモデル化したい
在庫処理
リクエスト受け口
伝票処理
売上処理
商品マスタ

DynamoDB更新のAWSデザイン
8
高信頼性があるSQSでまず
リクエストを受ける
エラーを追うためすべての
リクエストをS3に保存
SNSで拡張性アップ

実装～SNSトピックを振り分ける～
9
リクエストデータ受け口
{
"function": “uriage",
"TableName": "uriage_day",
"Key": {
"id": {"S": "0000010323601"}
},
"AttributeUpdates": {
"item_code": {
"Action": "PUT",
"Value": {
"S": "0000010323601"
}
}, "ure_count": {
"Action": "ADD",
"Value": {
"N": "1.0"
}
}
}
}
SNS振り分け先を定義
(経路を決める)
Dynamo更新用
データを作る
「uriage」というSNSト
ピックに投げる

DynamoDB更新のAWSデザイン(再掲)
10
functionによりSNSのどのト
ピックに振り分けるか決定

これで主張したいところ
良いところ
起点がSQSなので、リクエストを受けるところは割
と安心
分散しやすいので並列実行でなる早を実現
DynamoDBスループットの調節も分かりやすい
新規データがあっても拡張しやすい
11

作ってみてダメだと思ったところ
12
ログデータが多すぎて、デバッグ大変(追いたくない)
大量データを更新する場合、結構時間がかかる
SQSの1回で登録できる件数上限が10なのが影響
リクエスト受け口がボトルネックになる可能性

DynamoDB更新のAWSデザイン(改)
13
大量データ更新のときは
S3 Notification使ってみた

S3 Notificationの活用
14
S3://hoge-trigger/uriage/data_20150207.csv
という情報をSQSに貯めてくれる
ファイル情報取得してダウンロードして
データ変換・バラバラに分割してSNSへ
SNS振り分け先・フォーマットは
ディレクトリ名で判断

S3 Notification使って解消したこと
15
解消したこと
 ログデータは最初に置いたS3が元ネタなので不要
- データ探しやすくなりデータ検証もしやすくなった
 急にデータ増えてもコントロールできる
イケてる！！
 実装が簡単になった。疎結合バンザイ
- 開発者はS3にデータを置くだけで終わり
- AWSのことよくわからない人にも説明が簡単

さらなる高みへ～LamdaでGO!～
16

ありがとうございました
17
ハードウェア保守やらない時代はすぐそこみたいです
思ったより楽しいAWS

Let's work together!
・ＡＷＳエンジニア
・iOSエンジニア
・Webエンジニア
ハンズラボは積極的に技術者採用中です。

ハンズのDynamoDBクラウドパターン

More Related Content

What's hot (20)

Viewers also liked (13)

Similar to ハンズのDynamoDBクラウドパターン (20)

ハンズのDynamoDBクラウドパターン

Editor's Notes