Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
2 likes2,485 views
JAZUG札幌支部（きたあず） 第17回勉強会での発表資料です。
![
• 1つのJSONは、1つのcsファイルにまとめても良い
• 実際には、各プロパティにJsonPropertyを付与してキャメ
ルケースに対応させる
public class Rootobject
{
public string Id { get; set; }
public string LastName { get; set; }
public string FirstName { get; set; }
public Address Address { get; set; }
public string Title { get; set; }
public Contact[] Contacts { get; set; }
}
public class Address
{
public string Line1 { get; set; }
public string Line2 { get; set; }
public string City { get; set; }
public string State { get; set; }
public int Zip { get; set; }
}
public class Contact
{
public string Email { get; set; }
}](https://image.slidesharecdn.com/kita-miyake-180127060759/85/Azure-Cosmos-DB-23-320.jpg)
![// 接続ポリシーの作成
var connectionPolicy = new ConnectionPolicy
{
ConnectionMode = ConnectionMode.Direct, // ダイレクトモード
ConnectionProtocol = Protocol.Tcp // TCPを利用
};
// 読み取りリージョンを優先度順に追加
connectionPolicy.PreferredLocations.Add("Japan West");
connectionPolicy.PreferredLocations.Add("Japan East");
connectionPolicy.PreferredLocations.Add("Southeast Asia");
// DocumentDBクライアントの生成
client = new DocumentClient(
new Uri(ConfigurationManager.AppSettings["endpoint"]),
ConfigurationManager.AppSettings["authKey"],
connectionPolicy
);
client.OpenAsync(); // パフォーマンス改善のため一度接続しておく
接続クライアント生成時に、読み取
りリージョンを設定しておく
参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする
https://k-miyake.github.io/blog/cosmos-db-preferred-locations/
動的設定の
実装例](https://image.slidesharecdn.com/kita-miyake-180127060759/85/Azure-Cosmos-DB-34-320.jpg)
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
- 1. Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン 2018.1.26 @ JAZUG札幌支部（きたあず） 第17回勉強会 三宅 和之 Kazuyuki Miyake
- 3. A globally distributed, massively scalable, multi-model database service Column-family Document Graph Turnkey global distribution Elastic scale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Table API Key-value Azure Cosmos DB MongoDB API
- 4. A globally distributed, massively scalable, multi-model database service Column-family Document Graph Turnkey global distribution Elastic scale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Table API Key-value Azure Cosmos DB MongoDB API
- 5. API Apps Search Cosmos DB Blob Storage 利用者 認証 App Service Microsoft Azure Storage Queue Blob Storage Functions Storage Queue SQL Database Cosmos DB Cognitive Services Machine Learning Function s PC Clients(Windows/Mac)Mobile Clients(iOS/Android) API Gateway 外部システム Application Insights Azure Monitor Web Apps Token .NET Identity Framework Functions REST/OAuth2 SPA (Browser App)SPA (Browser App) 負荷モニター/オートスケール Microsoft導入事例サイト: https://www.microsoft.com/ja-jp/casestudies/ffs.fujifilm.aspx
- 10. ﹣ ﹣ ﹣ 参考: A technical overview of Azure Cosmos DB https://azure.microsoft.com/en-us/blog/a-technical-overview-of-azure-cosmos-db/ Dr. Leslie Lamport
- 11. Azure Cosmos DB ﹣ ﹣ Document型 Graph型 Column Family型 • SQL API (DocumentDB) • MongoDB API • Gremlin API• Table API Key-Value型 • Apache Cassandra API（プレビュー）
- 12. ﹣ ﹣ ﹣ ﹣ 参考: Automatic regional failover for business continuity in Azure Cosmos DB https://docs.microsoft.com/ja-jp/azure/cosmos-db/regional-failover
- 14. ﹣ ﹣ ﹣ ﹣ ﹣ https://www.documentdb.com/capacityplanner 参考: Azure Cosmos DB の要求ユニット https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units
- 22. ﹣ ﹣ 参考: NoSQL データベースのドキュメント データのモデル化 https://docs.microsoft.com/ja-jp/azure/cosmos-db/modeling-data • •
- 23. • 1つのJSONは、1つのcsファイルにまとめても良い • 実際には、各プロパティにJsonPropertyを付与してキャメ ルケースに対応させる public class Rootobject { public string Id { get; set; } public string LastName { get; set; } public string FirstName { get; set; } public Address Address { get; set; } public string Title { get; set; } public Contact[] Contacts { get; set; } } public class Address { public string Line1 { get; set; } public string Line2 { get; set; } public string City { get; set; } public string State { get; set; } public int Zip { get; set; } } public class Contact { public string Email { get; set; } }
- 25. ﹣ ﹣ Use the best data store for the job https://docs.microsoft.com/en-us/azure/architecture/guide/design-principles/use-the-best-data-store
- 31. ﹣ ﹣ ﹣ ﹣ ﹣
- 33. 参考: Automatic regional failover for business continuity in Azure Cosmos DB https://docs.microsoft.com/ja-jp/azure/cosmos-db/regional-failover
- 34. // 接続ポリシーの作成 var connectionPolicy = new ConnectionPolicy { ConnectionMode = ConnectionMode.Direct, // ダイレクトモード ConnectionProtocol = Protocol.Tcp // TCPを利用 }; // 読み取りリージョンを優先度順に追加 connectionPolicy.PreferredLocations.Add("Japan West"); connectionPolicy.PreferredLocations.Add("Japan East"); connectionPolicy.PreferredLocations.Add("Southeast Asia"); // DocumentDBクライアントの生成 client = new DocumentClient( new Uri(ConfigurationManager.AppSettings["endpoint"]), ConfigurationManager.AppSettings["authKey"], connectionPolicy ); client.OpenAsync(); // パフォーマンス改善のため一度接続しておく 接続クライアント生成時に、読み取 りリージョンを設定しておく 参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする https://k-miyake.github.io/blog/cosmos-db-preferred-locations/ 動的設定の 実装例
- 35. Make all things redundant https://docs.microsoft.com/en-us/azure/architecture/guide/design-principles/redundancy
- 37. ﹣ ﹣
- 40. Azure Cosmos DB Triggerを使ったAzure Functionの実行フロー
- 42. • •
- 46. Try Azure Cosmos DB for free! https://azure.microsoft.com/ja-jp/try/cosmosdb/
- 48. Cosmos DBのリソースモデル • • • Account Database Container Item = Collection Graph Table • ドキュメント • ストアドプロシージャ • トリガー • ユーザ定義関数 参考: Azure Cosmos DB 階層型リソース モデルと中心的概念 https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-resources Container（SQL APIでは「コレクション」） が設計上最も重要な単位
- 49. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ Provisionedrequest/sec Time 12000000 10000000 8000000 6000000 4000000 2000000 Nov 2016 Hourly throughput (request/sec) 参考: Azure Cosmos DB コンテナーのスループットの設定 https://docs.microsoft.com/ja-jp/azure/cosmos-db/set-throughput
- 50. • • Document document = await _client.ReadDocumentAsync( UriFactory.CreateDocumentUri(_option.DatabaseId, _option.CollectionId, id), new RequestOptions{ PartitionKey = new PartitionKey(pkey)} ); 参考 :Azure Cosmos DB でのパーティション分割とスケーリング https://docs.microsoft.com/ja-jp/azure/cosmos-db/partition-data
- 51. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB の SLA https://azure.microsoft.com/ja-jp/support/legal/sla/cosmos-db/
- 52. 参考: Azure Cosmos DB での予約されたスループット上限の超過 https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units#RequestRateTooLarge
- 53. 一貫性 レベル 説明 Strong • 最新バージョンのデータを返すことが保証される • 複数リージョンへの分散ができない Bounded Staleness • 最大でアイテムの K 個のバージョンまたはプレフィックス あるいは期間 t の分だけ、読み取りが書き込みに対し遅れる ことが保証 • kとtは設定変更が可能 Session • クライアント セッション内での一貫性が保証される • デフォルト Consistent Prefix • 返される更新が、それ以外の全更新の一部のプレフィックス となる (ギャップなし) • 書き込みが A, B, C の順で実行された場合、クライアントで は A、A,B、または A,B,C で返る可能性があるが、A,C また は B,A,C などで返されることはない Eventual • 結果整合性 • 読み取りと書き込みの待機時間は最短 • クライアントからの読み取りは順不同となる可能性がある 参考: Azure Cosmos DB の一貫性レベル https://docs.microsoft.com/ja-jp/azure/cosmos-db/consistency-levels
- 55. ﹣ ﹣ 参考: Azure Cosmos DB のサーバー側 JavaScript プログラミング https://docs.microsoft.com/ja-jp/azure/cosmos-db/programming#database-program-transactions
- 56. ﹣ ﹣ ﹣https://www.documentdb.com/sql/demo 参考: Azure Cosmos DB DocumentDB API: SQL 構文 https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-sql-query-reference#select-query
- 57. ﹣ ﹣ PM> Install-Package Microsoft.Azure.DocumentDB • TCP直接接続モードの例 • ポート範囲 10000 ～ 20000 を開けておく必要あり 参考: Azure Cosmos DB .NET SDK https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-sdk-dotnet
- 58. サンプル実装: https://github.com/Azure-Samples/documentdb-dotnet-todo-app/blob/master/src/DocumentDBRepository.cs • SDK利用に多くの解釈がないため、 ほぼ同じようなコードに収束する • Upsertもサポートされている • 実はSQLを直接使う機会 はあまりない DocumentDBRepository抜粋
- 59. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB データベースのセキュリティ https://docs.microsoft.com/ja-jp/azure/cosmos-db/database-security
- 60. ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB での自動オンライン バックアップと復元 https://docs.microsoft.com/ja-jp/azure/cosmos-db/online-backup-and-restore
- 61. ﹣ 参考: Azure Cosmos DB のメトリックを使用した監視とデバッグ https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-metrics
Editor's Notes
- #4: 3
- #5: 4
- #11: サーバレスデータベース サーバレスアーキテクチャを支えるデータストア もはやいわゆるNoSQLデータストアではない
- #12: DocumentDB API データはJSON形式 SQLが利用可能 MongoDB API 既存のMongoDBツールチェーンとスキルを活用できる ワイヤプロトコル Table Storage API KVS Azure Storage Tableのプレミアム版という位置付け Gremlin API グラフDB グラフトラバーサル言語のGremlinをサポート
- #24: idを含めなければ自動で生成される（手動採番もOK） 大量データなら「インポートツール」も利用可能
- #29: Webアプリ + DBのシステム全体が東西DR構成となる Traffic Managerとの組み合わせ SQL DBも併用可能
- #30: Webアプリ + DBのシステム全体が東西DR構成となる Traffic Managerとの組み合わせ SQL DBも併用可能
- #38: IoTからのセンサーデータや操作ログなどの分析 リアルタイムに分析ができるデータストア 複数ドキュメントを返すクエリはRUの消化が大きくなる
- #41: Functions Cosmos DBトリガーでほぼリアルタイムの検索インデックスを作成 Azure Function Cosmos DBトリガー
- #43: Cosmos DBのSQLでは検索に限界がある SELECT * FROM c WHERE CONTAINS(c.note, '本田技研') 表記揺れ、ゆらぎなどへの対応ができない 検索結果のスコアリングができない ページングの実装がシンプルになる
- #62: Get insights into your Azure #CosmosDB: partition heatmaps, OMS, and more - https://azure.microsoft.com/en-us/blog/get-new-insights-into-your-azure-cosmos-db-partition-heatmaps-azure-monitor-oms-and-audit-log/