DynamoDB MyNA・JPUG合同DB勉強会 in 東京
5 likes2,088 views
MyNA・JPUG合同DB勉強会 in 東京 で発表したDynamoDBの資料です。
DynamoDB MyNA・JPUG合同DB勉強会 in 東京
- 1. Amazon DynamoDB Yuko Mori Solutions Architect Amazon Data Services Japan K.K.
- 2. 自己紹介 • 森 祐孝(もり ゆうこう) – アマゾン データサービスジャパン株式会社 – ソリューションアーキテクト • 経歴 – Sierなどで、アプリケーション開発、PL、PMなどを担当 – ゲーム会社（テクニカルディレクタ） • ブラウザソーシャルゲーム、スマートフォン向けソーシャルゲーム • 担当 – ソーシャルゲーム、コンソールゲーム系のお客様のAWS構築⽀支援
- 3. Agenda • DyanamoDBとは • Table, API, Data Type • Indexes • Scaring • ユースケース& ベストプラクティス • DynamoDB Streams
- 4. DyanamoDBとは
- 5. Amazon DynamoDBの⽣生い⽴立立ち • Amazon.comではかつて全てのアクセスパターンをRDBMSで 処理理していた • RDBMSのスケールの限界を超えるため開発されたDynamoが 祖先 • 結果整合性モデル採⽤用に よる可⽤用性向上 • HWを追加する毎に性能 が向上するスケーラビリ ティ • シンプルなクエリモデル による予測可能な性能
- 6. Amazon DynamoDBの特徴 • 完全マネージド型の NoSQL データベースサービス – ストレージの容量量制限がない – 運⽤用管理理必要なし • ハイスケーラブル、低レイテンシー • ⾼高可⽤用性– 3x レプリケーション • シンプル且つパワフルAPI クライアント
- 7. Tables, API, Data Types
- 8. Table table items attributes Hash Key Range Key 必須 キーバリュー型のアクセスパターン データ分散に利用される オプション 1:Nモデルのリレーションシップ 豊富なQueryをサポート ハッシュキー検索用 ==, <, >, >=, <= “begins with” “between” sorted results counts 先頭/末尾 N件 ページ単位出力
- 9. • CreateTable • UpdateTable • DeleteTable • DescribeTable • ListTables • GetItem • PutItem • UpdateItem • DeleteItem • Query • Scan • BatchGetItem • BatchWriteItem • Liststreams • DescribeStream • GetShardIterator • GetRecords Table API Streams API DynamoDB In preview
- 10. AWS SDKs and CLI • 各種言語むけのオフィシャルSDKやCLIを利用 Java Python PHP .NET Ruby nodeJS iOS Android Javascript in the Browser AWS CLI
- 11. Data Types • String (S) • Number (N) • Binary (B) • String Set (SS) • Number Set (NS) • Binary Set (BS) • Boolean (BOOL) • Null (NULL) • List (L) • Map (M) JSON用に定義
- 12. Documentデータ型 (JSON) • データタイプ (M, L, BOOL, NULL) としてJSONをサポート • Document SDKs – 単純なプログラミングモデル – JSONから、JSONへの変換 – Java, JavaScript, Ruby, .NET Javascript DynamoDB string S number N boolean BOOL null NULL array L object M
- 13. 00 55 A954 AA FF Hash Table • Hash key は単体でプライマリキーとして利用 • 順序を指定しないハッシュインデックスを構築するためのキー • テーブルは、性能を確保するために分割(パーティショニング)される場合があ る 00 FF Id = 1 Name = Jim Hash (1) = 7B Id = 2 Name = Andy Dept = Engg Hash (2) = 48 Id = 3 Name = Kim Dept = Ops Hash (3) = CD Key Space
- 14. データは3箇所にレプリケーション Id = 2 Name = Andy Dept = Engg Id = 3 Name = Kim Dept = Ops Id = 1 Name = Jim Id = 2 Name = Andy Dept = Engg Id = 3 Name = Kim Dept = Ops Id = 1 Name = Jim Id = 2 Name = Andy Dept = Engg Id = 3 Name = Kim Dept = Ops Id = 1 Name = Jim Replica 1 Replica 2 Replica 3 Partition 1 Partition 2 Partition N
- 15. Hash-Range Table • Hash + Rangeでプライマリキーとすることもできる • Hash keyに該当する複数のデータの順序を保証するためにRange keyが使 われる • Hash Keyの数に上限はありません （Local Secondary Indexesを使用時は上限あり） 00:0 FF:∞ Hash (2) = 48 Customer# = 2 Order# = 10 Item = Pen Customer# = 2 Order# = 11 Item = Shoes Customer# = 1 Order# = 10 Item = Toy Customer# = 1 Order# = 11 Item = Boots Hash (1) = 7B Customer# = 3 Order# = 10 Item = Book Customer# = 3 Order# = 11 Item = Paper Hash (3) = CD 55 A9:∞54:∞ AA Partition 1 Partition 2 Partition 3
- 16. DynamoDBの整合性モデル • Write • 少なくとも２つのレプリカでの書き込み完了了が確認とれた時点 でAck • Read • デフォルト • 結果整合性のある読み込み • 最新の書き込み結果が反映されない可能性がある • Consistent Readオプションを付けたリクエスト • 強い整合性のある読み込み • Readリクエストを受け取る前までのWriteがすべて反映されたレス ポンスを保証
- 17. Indexes
- 18. Local Secondary Index (LSI) • Range key以外に絞り込み検索を行うkeyを持つことができる • Hash keyが同一で、他のアイテムからの検索のために利用 • すべての要素（テーブルとインデックス）の合計サイズを、各ハッ シュキーごとに 10 GB に制限 A1 (hash) A3 (range) A2 (table key) A1 (hash) A2 (range) A3 A4 A5 LSIs A1 (hash) A4 (range) A2 (table key) A3 (projected) Table KEYS_ONLY INCLUDE A3 A1 (hash) A5 (range) A2 (table key) A3 (projected) A4 (projected) ALL
- 19. Global Secondary Index (GSI) • Hash Key属性の代わりとなる • Hash Keyをまたいで検索を行うためのインデックス A1 (hash) A2 A3 A4 A5 GSIs A5 (hash) A4 (range) A1 (table key) A3 (projected) Table INCLUDE A3 A4 (hash) A5 (range) A1 (table key) A2 (projected) A3 (projected) ALL A2 (hash) A1 (table key) KEYS_ONLY
- 20. GSIの更新フロー Table Primary table Primary table Primary table Primary table Global Secondary Index Client 2. 非同期Update (in progress) GSIにはテーブルとは独立したスループットをプロビジョンして利用するため 十分なスループットが必要
- 21. Scaling
- 22. Scaling • スループット – DynamoDBはテーブル単位で、読み書きのスループットを指定する 必要がある （プロビジョニングするスループットキャパシティ） • サイズ – テーブルには任意の数のアイテムが追加可能 • 1 つのアイテムの合計サイズは 400 KB • local secondary index について、異なるハッシュキーの値ごとに最大 10GB のデータを格納
- 23. スループット • テーブルレベルによってプロビジョニング – Read Capacity Units (RCU) • 1 秒あたりの読み込み項目数 x 項目のサイズ (4 KB ブロック) • 結果整合性のある読み込みをする場合はスループットが 2 倍 例1）アイテムサイズ：1.2KB(1.2/ 4 = 0.3 ⇒ 1 繰り上げ) 読み込み項目数1000回/秒 1000 × 1 = 1000 RCU 例2）アイテムサイズ:4.5KB (4.5 / 4≒1.1 ⇒ 2 繰り上げ) 読み込み項目数1000回/秒 1000 × 2 = 2000 RCU ※結果整合性のある読み込みの場合 1000 × 2 × ½ = 1000 RCU
- 24. スループット – Write Capacity Units (WCU) • 1 秒あたりの書き込み項目数 x 項目のサイズ (1 KB ブロック) • 1KBを下回る場合は繰り上げられて計算 例1）アイテムサイズ：512B(0.512/ 1≒ 0.5 ⇒ 1 繰り上げ) 書き込み項目数 1000項目/秒 1000 × 1 = 1000 WCU 例2）アイテムサイズ:2.5KB (2.5 / 1 = 2.5 ⇒ 3 繰り上げ) 書き込み項目数1000項目/秒 1000 × 3 = 3000 WCU • 読み込みと書き込みのキャパシティユニットは独立して設定 RCU WCU
- 26. パーティショニング • DynamoDBはプロビジョンされたスループッ トキャパシティを確保するためにテーブルを 複数のパーティションに分散して格納 partition 1..N partitions 1 .. N table • ハッシュキーをパーティション間でのデータ分散に利利⽤用し、格納スト レージサイズやプロビジョンされたスループットによって⾃自動的にパー ティショニングが実施
- 27. パーティショニングの算出 # 𝑜 𝑓 𝑃 𝑎𝑟𝑡𝑖𝑡𝑖𝑜𝑛𝑠 (𝑓𝑜𝑟 𝑡ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡) = 𝑅𝐶𝑈678 89:;< 3000 𝑅 𝐶𝑈 + 𝑊𝐶𝑈678 A8BC9< 1000 𝑊 𝐶𝑈 ①1 つのパーティションに対して、最大 3,000 個の読み込みキャパシティー ユニットまたは 1,000 個の書き込みキャパシティーユニットを割り当てられる。 ②単一のパーティションには、約 10 GB のデータを保持される # 𝑜 𝑓 𝑃 𝑎𝑟𝑡𝑖𝑡𝑖𝑜𝑛𝑠 = 𝑇𝑎𝑏𝑙𝑒 𝑆 𝑖𝑧𝑒 𝑖 𝑛 𝐺 𝐵 10 𝐺 𝐵(𝑓𝑜𝑟 𝑠𝑖𝑧𝑒)
- 28. パーティショニングの算出方法 • 大きいほうを採用 (𝑓𝑜𝑟 𝑡ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡)(𝑓𝑜𝑟 𝑠𝑖𝑧𝑒)(𝑡𝑜𝑡𝑎𝑙) partitions 1 .. N table
- 29. パーティショニング算出例 # 𝑜 𝑓 𝑃 𝑎𝑟𝑡𝑖𝑡𝑖𝑜𝑛𝑠 = M NO PQ NO = 0.8 = 1 (𝑓𝑜𝑟 𝑠𝑖𝑧𝑒) # 𝑜 𝑓 𝑃 𝑎𝑟𝑡𝑖𝑡𝑖𝑜𝑛𝑠 (𝑓𝑜𝑟 𝑡ℎ𝑟𝑜𝑢𝑔ℎ𝑝𝑢𝑡) = RQQQSTU VQQQ WXY + RQQZTU PQQQ [XY = 2.17 = 3 Table size = 8 GB, RCUs = 5000, WCUs = 500 (𝑡𝑜𝑡𝑎𝑙) RCUs per partition = 5000/3 = 1666.67 WCUs per partition = 500/3 = 166.67 Data/partition = 8/3 = 2.66 GB RCUとWCU の値は均一に各パー テションに割り当てられます • スループット • ストレージサイズ • 大きいほうを採用
- 30. DynamoDB のスループットを最大限に活用 “DynamoDB のスループットを最 大限に活用するには、テーブル を作成するときに、ハッシュキー 要素に個別の値が多数含まれ、 できるだけランダムかつ均一に 値がリクエストされるようにします。 ” – DynamoDB Developer Guide • Space: キーアクセスはなる べく均等になるように • Time: リクエストはなるべく均 等な間隔で
- 33. DynamoDBの料金体系 • プロビジョニングされたスループットで決まる時間料金 – Read/Writeそれぞれプロビジョンしたスループットによって時間あた りの料金がきまる – 大規模に利用するのであればリザーブドキャパシティによる割引もあ り • ストレージ利用量 – 保存したデータ容量によって決まる月額利用料金 – 計算はGBあたりの単価が適用される http://aws.amazon.com/jp/dynamodb/pricing/ 詳細はこちらを参照
- 36. 投票システムの要件 • 投票は一回のみ • 一度投票したものは変えられない • リアルタイムに集計 • 投票者の統計、分析を行いたい
- 38. Partition 1 1000 WCUs Partition K 1000 WCUs Partition M 1000 WCUs Partition N 1000 WCUs 投票Table Candidate A Candidate B スケールすることによるボトルネック Voters 200,000 WCUsを設定
- 39. シャーディングでの書き込み Candidate A_2 Candidate B_1 Candidate B_2 Candidate B_3 Candidate B_5 Candidate B_4 Candidate B_7 Candidate B_6 Candidate A_1 Candidate A_3 Candidate A_4 Candidate A_7 Candidate B_8 Candidate A_6 Candidate A_8 Candidate A_5 Voter 投票 Table
- 40. シャーディングでの書き込み Candidate A_2 Candidate B_1 Candidate B_2 Candidate B_3 Candidate B_5 Candidate B_4 Candidate B_7 Candidate B_6 Candidate A_1 Candidate A_3 Candidate A_4 Candidate A_7 Candidate B_8 UpdateItem: “CandidateA_” + rand(0, 200) ADD 1 to Votes Candidate A_6 Candidate A_8 Candidate A_5 Voter 投票Table
- 41. 正確な投票 UserId Candidate Date １ A 2013-10-02 ２ B 2013-10-02 ３ B 2013-10-02 ４ A 2013-10-02 投票Table Segment Votes A_1 23 B_2 12 B_1 14 A_2 25 投票集計Table Voter 1. 投票データの登録、重複排除 2. 投票データの集計
- 42. 正確な集計は? UserId Candidate Date １ A 2013-10-02 ２ B 2013-10-02 ３ B 2013-10-02 ４ A 2013-10-02 投票Table Segment Votes A_1 23 B_2 12 B_1 14 A_2 25 投票集計Table Voter
- 44. What is DynamoDB Streams? It is a Streams of updates Scales with your table DynamoDB StreamsDynamoDB In preview
- 45. • テーブルの更新の情報を 保持 • 非同期に更新 • シリアライズされたデータ • アイテム毎の厳密な管理 • 高耐久性 • テーブルよるスケール • 有効期限は24時間 • 1秒未満の遅延書き込み DynamoDB Streams
- 46. View Type Destination Old Image – 更新前の情報 Name = John, Destination = Mars New Image – 更新後の情報 Name = John, Destination = Pluto Old and New Images Name = John, Destination = Mars Name = John, Destination = Pluto Keys Only Name = John View types 更新情報（Name = John, Destination = Mars） ⇒(Name = John, Destination = Pluto)
- 47. Streams Table Partition 1 Partition 2 Partition 3 Partition 4 Partition 5 テーブル Shard 1 Shard 2 Shard 3 Shard 4 KCL Worker KCL Worker KCL Worker KCL Worker Amazon Kinesis Client Library Application DynamoDB クライアント アプリケーション 更新 DynamoDB Streams and Amazon Kinesis Client Library
- 48. DynamoDB Streams and AWS Lambda
- 49. AWS Lambda • 特徴 (http://aws.amazon.com/jp/lambda/) – OS、キャパシティ等インフラの管理不要 – S3、Kinesis、SNS等でのイベント発生を元に ユーザが用意したコード（Node.js,java 8）を実行 – ユーザアプリからの同期/非同期呼び出し • 価格体系 (http://aws.amazon.com/jp/lambda/pricing/) – コード実行時間（100ms単位） – Lambdaファンクションへのリクエスト回数 – 1月あたり100万リクエスト、400,000GB/秒が無 料で利用可能 イベントをトリガーにコードを実⾏行行するコンピュートサービス AWS LambdaAmazon S3 Bucket イベント 元画像 サムネイル画像 1 2 3 AWS LambdaAmazon DynamoDB Table and Streams プッシュ通知 別テーブルを更更 新 ■イメージのリサイズやサムネイルの作成 ■値チェックや別テーブルへのコピー
- 50. Real-time voting architecture 投票集計 Table Amazon Redshift Amazon EMR Your Amazon Kinesis– Enabled App Voters 投票TableVoting app 投票 DynamoDB Streams
- 51. Real-time voting architecture 投票集計 Table Amazon Redshift Amazon EMR Your Kinesis-enabled app Voters 投票TableVoting app 投票 DynamoDB Streams
- 52. Real-time voting architecture 投票集計 Table Amazon Redshift Amazon EMR Your Kinesis-enabled app Voters 投票TableVoting app 投票 DynamoDB Streams
- 53. Real-time voting architecture 投票集計 Table Amazon Redshift Amazon EMR Your Kinesis-enabled app Voters 投票TableVoting app 投票 DynamoDB Streams 投票者の統計、分析
- 54. DynamoDBが使われているユースケース • KVSとして – Webアプリケーションのセッションデータベース – ユーザー情報の格納するデータベース • 広告やゲームなどのユーザー行動履歴DBとして – ユーザーIDごとに複数の行動履歴を管理するためのデータベース • ソーシャルアプリのバックエンドとして – モバイルアプリから直接参照できるデータベースとして • 他にも – バッチ処理のロック管理 – フラッシュマーケティング – ストレージのインデックス
- 56. ユースケースに合わせてDB製品を選択 Elastic Load Balancing Clients EC2 Amazon DynamoDB Managed NoSQL Amazon RDS Managed SQL Amazon ElastiCache Managed in-memory caching Amazon Redshift Managed data warehouse BI tools
- 57. ありがとうございました！