Azure2017年3月障害DeepDive
Download as PPTX, PDF1 like373 views
Azure2017年3月障害DeepDive
- 1. Azure 2017年3月障害 Deep Dive シグマコンサルティング株式会社 冨田 順 (とみたすなお) @harutama
- 6. Summary of impact ざっくり訳 6 2017年3月8日の12:40から14:38(UTC)の間に日本東部でストレージを使用し ている顧客の一部が、このリージョンでホストされている以下のリソースへの接 続に問題が発生していた可能性があります。 App Service ～サービスいっぱいなので中略～ およびクラウドサービス この問題は、ストレージサービスの継続的な健全性をチェックする監視警告シス テムによって検出されました。 アラートによって当社のエンジニアリングレスポンスがトリガされ、ストレージ サービスのStream Manager プロセスがリクエストの処理を開始し、サービ スの状態を回復できるようにするリカバリアクションがとられました。 ストレージサービスが回復されると、ストレージサービスを利用して構築された すべてのAzureサービスも回復しました。
- 8. 今日の目的 8
- 10. 参考文献 10
- 11. 参考文献 • ストレージに関する論文 – SOSP Paper - Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency https://azure.microsoft.com/ja-jp/blog/sosp-paper-windows-azure- storage-a-highly-available-cloud-storage-service-with-strong- consistency/ – 論文の日本語訳 https://download.microsoft.com/download/C/0/2/C02C4D26-0472- 4688-AC13- 199EA321135E/23rdACM_SOSP_WindowsAzureStorage_201110_jpn.pdf • Build 2013でのセッション – Windows Azure Storage: What’s Coming, Best Practices, and Internals https://channel9.msdn.com/Events/Build/2013/3-541 11
- 12. 12 ネタ元が論文なので
- 15. だからこういうのはやめて… 15
- 16. そろそろ本題 16
- 17. Azure ストレージの設計要件 • グローバルで拡張可能な 名前空間/ストレージ • 強い一貫性 • 障害復旧 • マルチテナントによるストレージコスト の節約 17
- 19. URL の構造 • アカウント名 – ユーザーが指定した任意の名前 • サービス名 – 今のところ blob・queue・table・file • パーティション名 – blobのコンテナ名 と言った方が分かるかも • オブジェクト名 – 各オブジェクトに対してつけられた任意の名前 19 https://<アカウント名>.<サービス名>.core.windows.net/ <パーティション名>/<オブジェクト 名>
- 20. つまり • ストレージ内にあるオブジェクトに対しての URL (Uniform Resource Locator) は、そのまま URI(Uniform Resource Identifier) として役割を果すように設計されている 20
- 24. コンポーネントの役割 • ストレージスタンプ – ラック10～20本くらいのサーバーの塊 – サーバーごとに3つの役割を分担する • フロントエンドレイヤー • パーティションレイヤー • ストリームレイヤー • ロケーションサービス – ストレージスタンプを管理 – アカウントと名前空間の対応を管理 24 ロケーションサービス ストレージスタンプ VIP
- 26. フロントエンドレイヤー • ユーザーからの要求を受け付ける役目 – パーティションに対するユーザーの認証と認可 – パーティションの名前と、パーティションが 存在しているサーバーとのマッピング (パーティションマップ)を 保持して管理する。 26 ストレージスタンプ フロントエンドレイヤー パーティションレイヤー ストリームレイヤー VIP
- 27. パーティションレイヤー • サービスに対応したデータの管理 – blob・table・queue・file の提供 • トランザクションの順序付けと 強い一貫性の確保 • パーティション分割による スケーラビリティの実現 27 ストレージスタンプ フロントエンドレイヤー パーティションレイヤー ストリームレイヤー VIP
- 28. ストリームレイヤー • 最終的にデータを永続化する役割 – 分散ファイルシステム(DFS)としての役割 • データセンター内で3つのレプリカを作成 して維持する。 28 ストレージスタンプ フロントエンドレイヤー パーティションレイヤー ストリームレイヤー VIP
- 30. 提供されるレプリケーション レプリケーションオプション レプリケーションの動作 Locally Redundant Storage (LRS) 1つのデータセンター内でデータコピーを 3つ作成。 Zone Redundant Storage (ZRS) 同一 or 複数のリージョンに位置する複数 のデータセンターに3つのデータコピーを 作成。 Geographically Redundant Storage (GRS) プライマリーリージョンと数百Km離れた 位置にあるセカンダリーリージョンに 3+3のコピーを作成。 Read-Access Geographically Redundant Storage (RA-GRS) GRSの機能で作成されたセカンダリー リージョンのデータに、読み取り専用で アクセスが可能。 30
- 32. 実行されるレイヤーの違い • スタンプ内レプリケーション – LRS のサービスを提供 – ストリームレイヤー内で実行される • スタンプ間レプリケーション – ZRS、GRS、RA-GRA のサービスを提供 – パーティションレイヤー間で実行される 32
- 33. なぜ違うレイヤーで実行する? • スタンプ内レプリケーション – 一定頻度で発生するハードウェア障害に対処する ためのデータ耐久性を提供するのが目的 – レプリカは同期的に作成される • スタンプ間レプリケーション – 比較的頻度の低い地域的な災害に対処するための 地理的な冗長性を提供するのが目的 – レプリカは非同期的に作成される 33
- 34. 次の話題に行く前に… 34
- 35. この人、知ってる? 35
- 36. レスリー・ランポート • 2013年 ACM チューリング賞受賞 – 分散コンピューティングに関連する研究に対して • LaTeX の生みの親 • 現在は Microsoft Reserch で勤務 36
- 37. チューリング賞のごほうび 37
- 38. Paxos プロトコル • 「合意」を形成するためのプロトコル – 合意 = 複数の参加者の間で、ある1つの結果に ついて承認を得ること。 • 何がムズカシイの? – こんなことが起こったときどうする? • サーバーが壊れて返事をしないかも • ネットワークのせいで通信できないかも • 壊れていたサーバーが復活したら??? 38
- 39. 今日は説明しないので参考文献 • 普通の人でもわかる Paxos – https://www.slideshare.net/tyonekura/pa xos-63835103 • Paxos – https://www.slideshare.net/pfi/paxos- 13615514 39
- 41. ストリームレイヤーの大前提 • ストリームレイヤーはパーティションレイ ヤー”だけ”にインターフェースを提供する。 • ストリームレイヤーは既存のデータを変更 するインターフェースを持たない。 – ストリームレイヤー内のデータは 「ストリーム」と呼ばれる単位で扱われる。 41
- 42. ストリームの構造 • ストリームはエクステントへ のポインタの順序付きリスト みたいなもの。 • エクステントはブロックの塊。 • ブロックはデータを読み書き する最小単位 42 ストリーム エクステント へのポインタ … エクステント へのポインタ エクステント ブロック ブロック … ブロック
- 43. ストリームレイヤー 誰が何を管理するのか? 43 ストリーム エクステント へのポインタ … エクステント へのポインタ エクステント ブロック ブロック … ブロック ストリーム マネージャー パーティション レイヤー エクステント ノード
- 49. ストリームレイヤー レプリカ作成 その1 49 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー
- 50. ストリームレイヤー レプリカ作成 その2 50 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー OK!
- 51. ストリームレイヤー レプリカ作成 その3 51 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー OK! OK!
- 52. ストリームレイヤー レプリカできたか? その1 52 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー OK! OK! OK!
- 53. ストリームレイヤー レプリカできたか? その2 53 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー OK! OK! OK! 書き込みの 完了を通知
- 54. ストリームレイヤー レプリカできたか? その3 54 ストリーム マネージャー パーティション レイヤー エクステント ノード エクステント ノード エクステント ノード プライマリー セカンダリー セカンダリー OK! OK! 書き込みの 完了を通知
- 57. ストリームマネージャーの役割 • ストリームの名前空間と、すべてのアクティブな ストリーム/エクステントの状態の保持。 • エクステントノードの稼働状況の監視。 • エクステントの作成とエクステントノードへの割り当て。 • ハードウェアの障害または使用不可状態により失われた レプリカの遅延再レプリケーション。 • どのストリームからも参照されていないエクステントの ガベージコレクション。 • ストリームのポリシーに基づくエクステントデータの 消失訂正のスケジューリング。 57
- 63. まとめ 63
- 65. Root cause and mitigation 65 日本東部のストレージスケールユニットでは、ストレージサービス内のデータの 配置を管理するバックエンドコンポーネントのストリーム・マネージャーが、通 常発生しないような状態になり、要求の処理に失敗しました。 その結果、上記の期間のストレージサービスへの要求が失敗しました。 ストリームマネージャは、そのような状態 (自動フェイルオーバーを含む) から 自己回復するための保護機構を備えていますが、バグがあったために自動自己修 復が失敗する原因となりました。
- 67. Let’s dream and then let’s build. - Ray Ozzie 冨田 順 (@harutama) http://twitter.com/harutama 67