Nutanix CE 入門 -Multi Node 構成編-

NUTANIX COMMUNITY MEETUP #4
Nutanix CE 入門 -Multi Node 構成編-
Nutanix CE Basic for Multi Node at Home Labs
1
24th Aug 2015
Rev.2
Nutanix Community Meetup #4

はじめまして！
Nice to meet you
2

自己紹介
3
@hanakara_milk と申します
普段はコテコテのSierに偽装派遣されている
ワタシ Word ト Excel ト PowerPoint ダケトモダチ
エンジニアではないので仕事でインフラに触れる機会は全く
ありません。インフラに触ってみたい欲求をこじらせて，自
宅にいっぱいサーバーをため込んでいますが，8割くらい死
蔵してます。あとGUIがないと死んじゃう持病持ってます。

哲学的な疑問
なぜ,ここにいるのか？
Why , am I here ?
4

Nutanix Community Meetup関連のできごと
5
ありがたいことに優勝を
いただきました。
Nutanix Community Edition
Blogコンテスト
優勝賞品として，Apple
Watch Sportをいただけ
るそうです！
ありがとうございます！

NUTANIX COMMUNITY MEETUP #4 6
Apple Watch Sport

Apple Watch Sport
対価
登壇指令

あくまでイメージ画像です
※LINE画面風画像ジェネレータ提供
ある日のこと…

ご注意
10
 商用Nutanixについて，全く事前知識がないままNutanix CEに触り
始めたので，既にNutanixをご存じの方は当たり前じゃん？的な内
容もあるかと思います。
 Nutanix初心者がNutanix初心者向けにお話をする(無謀)と言うこと
で，間違っているかもしれない内容もあり，発表中に唐突に発表者
が中の人に質問をすることもあります。
 上記を踏まえて，マサカッリーを放る場合はフェザータッチな感じ
(重要)でお願いいたします。

Nutanix CEマルチノード構成のココが凄い！
Nutanix CE multi-node cluster is amazing !!

ヤバい！

でんきだい♡
14
Majide Yabai desu
What a fxxk'n electric bills
Kekkou yabai desu
Real TETRIS (Physical)
Hontoni yabai desu
Easy Cluster management
Soutou yabai desu
Get free availability System
ヤバい！

15
電気代ヤバイ
ヤバい！

16
Majide Yabai desu
Kekkou yabai desu
Hontoni yabai desu
Soutou yabai desu
せっちばしょ
ヤバい！

17
必須スキル：
テトリス(物理)
ヤバイ
Node #1
Node #2
Node #3
Node #4
もはやこの辺の数台は
取り出すことができな
いため構成変更不可能
作業台ため構成
変更不可能
ヤバい！

たぶんこの先からが本題
This is just the beginning.
18

Nutanix CEってそもそも何？
19
Nutanix CEの基礎知識
Nutanixは，北米等のマーケットで非常に勢いのあるハイパーコ
ンバージドインフラストラクチャ(※)のソリューションを提供
しているベンダー及びそのベンダーの製品名。
※サーバー，ネットワーク，ストレージ，ソフトウエア（ハイパーバ
イザーや運用管理ツールなど）を，一つのパッケージに統合した製品
CPU，メモリ，ストレージ，NICを搭載した汎用的なIAサーバー
を束ねて，その上にNutanix社が開発した分散ストレージファイ
ルシステム，ハイパーバイザーを含む仮想化基盤の統合運用・
管理ソフトウェアを搭載したアプライアンス製品又はそのソフ
トウェア製品。

20
もっと分かり易く言うと，共有ディスクいらずで，汎用的なIA
サーバーのみを利用して，耐障害性や可用性のあるクラスター
システムと冗長性やデータの耐障害性を持つストレージが既に
組み込み済みの，導入してすぐに使える仮想化基盤。
もう1つ特徴的なのが，ハイパーバイザーをユーザーが選択可能
で，ストレージ，ネットワークを含むインフラ基盤部分を
Nutanixで統合管理し，ハイパーバイザー部分のみをユーザーの
好みに合わせてVMware vSphereやHyper-Vにすげ替えることがで
きる。

21
Nutanix CEは，このような商用版Nutanixのハイパーコンバージ
ドインフラストラクチャソフトウェアを無償でコミュニティ向
けに提供したもので，CEはCommunity Editionの略。
Nutanix CEは，ハイパーバイザーについて，Nutanix社が提供し
ているKVMベースのAcropolisと呼称される独自のハイパーバイ
ザーしか選べないが，いくつかの制約(主にノード数や搭載ディ
スクの本数及び容量の制約)を除いて，ほぼ商用版のNutanixと
同等の機能が無償で利用できる。
Nutanix CEは，メールベースの登録のみで，誰でも自由に入手
し，利用することができる。

22
Nutanix CEは，無償のCommunity Editionながら非常に高機能な
仮想化基盤の運用・管理機能を有する。
SSD
HDD HDD HDD
CVM
Acropolis Hypervisor
SSD
Nutanixの分散ストレージ機能では，必須の要件と
して200GB以上のSSDを要求するものの，HDDと合わ
せたティアリング機能(階層化ストレージ)も提供
しており，データの利用頻度等によって，動的な
SSD又はHDDへのデータ配置管理が行われる。
共有ディスクを必要とせず，Hypervisorから
見える仮想化基盤のための耐障害性，冗長性
を備えた分散ストレージ機能があらかじめ
Nutanixの機能で提供される。
KVMベースのHypervisorで，VMの作成，変更，
削除等の機能や仮想化基盤のネットワーク，
ストレージ，クラスターの構成・管理機能を
提供する。ライブマイグレーション機能も提
供されるほか，HA機能も無償で提供される。
CVMは，Controller VMで，Nutanixにおいてノード間
の相互監視やストレージやネットワークのI/Oパス
制御，I/Oキャッシュの制御を行う。Acropolisが
Hypervisorとしての基礎的な機能を提供するコン
ポーネントだとすると，CVMはそれに様々な追加の
拡張機能を提供するコンポーネント。

23
Nutanix CEは，Nutanixソフトウェアのみが提供される形になる
ため，自社や自宅のハードウェアにインストールして，共有
ディスクいらずの可用性，耐障害性を持つ(マルチノード構成時
のみ)仮想化基盤を構築することができる。
主なインストール要件は，物理4コア以上のIntel CPU，16GB以
上のメモリ，LSIのHBAやICHコントローラー，200GB以上のSSDと
500GB以上のHDD及びIntel又はBroadcom等のNIC。
物理マシンを複数用意できない場合は，VMwareの上にNested等
でのインストールも可能

24
Nutanix CEの入手は以下のURLから
http://www.nutanix.com/products/community-edition/
Nutanix CEの主な制約は比較的ゆるく，常用に十分耐える程度
の制約に収まっている。主な制約は以下のとおり。
• クラスターを構成するノード数は4つまで。
• ハイパーバイザーの選択が不可。
• ディスクの最大容量は18TBまで。

Nutanix CEマルチノードクラスターを使い始めるまでのステップ
25
Nutanix CEのインストール
インストーラーを使いCLIウィ
ザードを使ってインストールを行
う。
クラスターの構成と設定
clusterコマンドとnCLIを使って
クラスターの構成と設定を行う。
Hypervisorの設定
Nutanix CEではAcropolisと呼ば
れるKVMベースのHypervisorイン
ストールされるので，その設定を
行う。
VMインストール
HypervisorであるAcropolisの設
定が完了すると，VMのインストー
ルが可能となる。
Nutanix CE
インストール
クラスター
の構成と設定
VM
インストール
Hypervisor
設定
ローカルCLI
リモートCLI
リモートGUI
リモートGUI

Nutanix CEマルチノードクラスターを使い始めるまでのステップ
26
クラスターの構成と設定
clusterコマンドとnCLIを使って
クラスターの構成と設定を行う。
クラスター
の構成と設定
リモートCLI
Nutanix CEのマルチノードクラスターについて
マルチノードクラスターにまつわる技術
Nutanixの売りであるストレージにまつわる技術，など
今日の本題
クラスターの構成と設定に関連して…

Nutanix CE 入門編 -Multi Node 構成編-
の本題

本日のアジェンダ
28
01
Cluster
Configuration
02
03
Nutanixのマルチノードクラスター構成と
設定，その周辺技術なんかのお話
Nutanixのマルチノードクラスターと可用
性・耐障害性にまつわるお話
Nutanix CEにおけるマルチノードクラス
ター構成のまとめ
Availability
Mechanism
Today’s
Summary
00
An opening act
Ice break
【済】前振り

29
01
Cluster
Configuration
Nutanixのマルチノードクラスター構成と
設定，その周辺技術なんかのお話

Nutanix CEマルチノード構成のココが凄い！の本題
30
Majide Yabai desu
Kekkou yabai desu
Hontoni yabai desu
Easy cluster configuration
Soutou yabai desu
くらすたー

31
Nutanix CEにおけるクラスターの基礎知識
Nutanix CEで構成可能なマルチノードクラスターは，3ノードク
ラスターもしくは4ノードクラスターのみ。
5ノード以上のクラスター構成は商用版のNutanixでのみ可能。
2ノードクラスターは構成不可，スプリットブレインに対する
考え方とNDFSの基本的な制約だと思われる。
Nutanix CEで可構成能なクラスター構成におけるデータの
耐障害性は，RF(Replication Factor)2まで。
Nutanixのクラスター管理コマンドは，基本的に
clusterコマンドとncliコマンドのみで事足りる。

32
Nutanix CEのクラスターは初心者にとても優しい！
「サーバーやサービスのクラスターを構成するのは手間暇かかって
結構大変ですよね」
NLBやHA又はフェイルオーバークラスターを構成する際には，事
前に多数のパラメーター設定やら制約やら色々手間がかかる。
クラスターの対象レイヤーがアプリケーションや
サービスレベルになるとさらに大変。
自分が知る中でもクラスターを構成するのが比較的簡単なのは，
他にはVMware vSphereくらい？(ただし，あくまで操作のみに限っ
ての話，クラスター構成に必要なシステム構成等の要件は別)

33
マルチノードクラスター構成はヘテロ構成が可能
Nutanixにおけるクラスターを構成する際に必要となるハード
ウェアの要件及び構成は，まったく同一のハードウェアを
必要とすることなくヘテロな環境でも構成が可能。
Server CPU MEMORY Storage Ctrl SSD HDD NIC
ProLiant
ML110 G7
1x Xeon E3-1220
(4C4T)
16GB Smart Array
B110i(ICH10R)
Samsung 850 EVO
256GB
Seagate
ST2000DM001 2TB
Intel X520-DA2
DualPort 10GbE
PRIMERGY
RX300 S7
2x Xeon E5-2670
(16C32T)
128GB D2616 SAS
RAID(LSI2108)
Samsung XP941
512GB M.2 SSD
Toshiba
MK3001GRRB 300GB
Fujitsu PYBLA242L
DualPort 10GbE
PowerEdge
R710
2x Xeon X5670
(12C24T)
48GB AOC-S2308L-
L8i(LSI2308)
Samsung 850 EVO
256GB
Seagate Savvio
10K.3 300GB
Mellanox MNPH29C-
XTR DualPort 10GbE
PowerEdge
R610
2x Xeon L5520
(8C16T)
24GB PERC
H700(LSI2108)
Seagate Pulsar.2
400GB
Toshiba
MK3001GRRB 300GB
Emulex OCe11102
DualPort 10GbE
※当初，Nutanix CEを検証した際の構成

34
たった1行のコマンドでクラスターを構成できる
（クラスター構成前）同一ネットワークアドレスにいるノードは，
煩雑な設定をすることなく，IPアドレスを指定するだけで簡単にク
ラスターに組み込むことができる。
Nutanix CEのクラスター構成自体は，このたった1行のみで完了。
これに加えて，クラスターが参照するDNSを設定するだけで，
Nutanix CEのクラスター構築作業が完了する。
Single Nodeの場合は –f オプションをつける必要あり
$ cluster -s {IP_ADDR1} , {IP_ADDR2} , {IP_ADDR3} , {IP_ADDR4} create
Code:

クラスターコマンドは1回叩けば全てのノードに適用
（クラスター構成後）クラスターの初期構成，初期設定
ssh接続して
いるノード
35
ssh ssh接続

（クラスター構成後）クラスターの初期構成，初期設定におい
て，いずれか1台に設定を投げると…
ssh接続して
いるノード
36
ssh ssh接続
command

（クラスター構成後）クラスターの初期構成，初期設定におい
て，いずれか1台に設定を投げると，自動的にクラスターを構成
する全てのノードに設定を適用される。
Nutanix CEでは，クラスターを通常の運用状態に持っていくた
めの初期構成，初期設定が簡単。
ssh接続して
いるノード
37
ssh
command command command command
ssh接続

38
Nutanix CEの構成，設定はGUIで俺得
初心者の強い味方！WebブラウザベースのGUI管理コンソール
※GUIないと死んじゃう病を抱えているので

Nutanix CEのマルチノードクラスター構成
Nutanix CEのマルチノードクラスターを構成する手順
※Nutanixの公式手順とかではなく，個人的な検証結果や所感に基づきます
39
1 2 3 4 5 6
マルチノードク
ラスターそのも
のを構成する
clusterが参照
するDNSサーバ
を設定する
clusterが参照
するDNSサーバ
を設定する
clusterの
Virtual IPアド
レスを設定する
clusterのクラ
スター名を設定
する
clusterの
TimeZoneを設定
する
Cluster
Generate
DNS
Setting
NTP
Setting
Virtual IP
Setting
Name
Setting
TimeZone
Setting
必須必須推奨推奨推奨推奨

40
具体的なマルチノードクラスターの構成と設定
1．clusterコマンドを用いてクラスターを構成する(必須)
192.168.100.101，111，121，131の4台のNutanix CEインストール
済みのノードがあった場合の4ノードクラスター構成時
ちなみに，クラスターの破棄時は，createオプションではなく
destroyオプションを指定するだけ。
$ cluster -s 192.168.100.101, 192.168.100.111, 192.168.100.121, 192.168.100.131
create
Code:

41
2．構成されたclusterが参照するDNSサーバを設定する(必須)
Nutanix CEをアクティベーションやアップデート時にインターネッ
ト接続が必要となるため，クラスターが参照するDNSを指定。
8.8.8.8等の外部のオープンリゾルバやNutanix CEをインストール
したネットワークにDNSサーバがあれば，そちらを利用することも
可能。
$ nci cluster add-to-name-servers servers="8.8.8.8"
Code:

42
3．構成されたclusterが参照するNTPサーバを設定する(推奨)
マルチノードクラスターを構成する場合は設定を推奨。NTPの設定
はPRISMからも可能で，後で設定することも可能。
上記の例では，NICTのNTPを使っているが，DNSと同様にNutanix CE
をインストールしたネットワークにNTPサーバがあれば，そちらを
設定することも可能。
$ ncli cluster add-to-ntp-servers servers="ntp.nict.jp"
Code:

43
4．構成されたclusterのVirtual IPアドレスを設定する(推奨)
マルチノードクラスターを構成し，実運用する場合は設定を推奨。
Virtual IPもPRISMから後で設定することが可能。
上記は，クラスターを構成するノードが，192.168.100.101，111，
121，131で，Virtual IPアドレスを192.168.100.200を設定した場合
のコマンド例
$ ncli cluster set-external-ip-address external-ip-address="192.168.100.200"
Code:

44
5．構成されたclusterのクラスター名を設定する(推奨)
複数のクラスターを運用する場合は設定を推奨。クラスター名称
もPRISMから後で設定することが可能。
上記は，クラスターを構成するクラスター名称を”NutanixCE”とす
る場合の設定例。
$ ncli cluster edit-params new-name="NutanixCE"
Code:

45
6．構成されたclusterのTimeZoneを設定する(推奨)
マルチノードクラスターを構成し，実運用する場合は設定を推奨。
TimeZoneもPRISMから後で設定することが可能。
上記の例は，TimeZoneを”Asia/Tokyo”に設定した場合のコマンド
例。デフォルトでは，Timezone : US/Pacificとなっている。
$ ncli cluster set-timezone time-zone="Asia/Tokyo"
Code:

46
マルチノードクラスターまとめ
マルチノードクラスターは，ヘテロなハードウェア構成でも
問題なく構成できる。
Nutanixでマルチノードクラスターを構成するために必要な手順
は，基本的にシングルノードクラスターを構成する手順と同じ。
厳格な実運用が必要ないのであれば、手順1，2の2回コマンドを
叩くだけでNutanix CEのマルチノードクラスターは構築可能。
クラスターの構成，設定に関するコマンドは，いずれかの
ノード上で実行すると自動的にすべてのノードに適用される。
コマンド作業が苦手な場合でも，1と2の手順以外は全てWeb
ブラウザベースの管理コンソールであるPRISMから設定が可能。

47
02
Nutanixのマルチノードクラスターと
可用性・耐障害性にまつわるお話
Availability
Mechanism

48
Majide Yabai desu
Kekkou yabai desu
Hontoni yabai desu
Soutou yabai desu
かよーせー

49
Nutanixにおける可用性(≒耐障害性)について
Nutanixにおける可用性又は耐障害性について3つの例を紹介。
※厳密には耐障害性と可用性は異なりますが，ココで同列で扱っています
VMの可用性
VM Availability
2.VM1.Cluster
クラスターの耐障害性
Cluster Fault tolerance
データの耐障害性
Data Fault tolerance
3.DATA

50
Nutanixにおける可用性(≒耐障害性)が凄い！
Nutanix CEにおいて，可用性又は耐障害性を確保するための機
能は無償で提供される。
特に難しい設定は必要なくマルチノードクラスターを構成した
時点で，1．クラスターの耐障害性，2．VMの可用性，
3．データの耐障害性を確保する機能が有効になる。

51
1．Nutanixにおけるクラスターの耐障害性
1.Cluster
クラスターの耐障害性
Cluster Fault tolerance

52
クラスターの耐障害性について
□4ノードクラスター構成時におけるノード障害及び除外について
4ノード以上を含むクラスターでノード障害発生した場合には，
動的に障害ノードが除外されることでクラスターの健全性が回
復する。
障害ノードが除外され，3ノードで動作するクラスターでは，ク
ラスターの完全保護を可能とする規程のノード数3をクリアして
いるため，引き続きクラスターは保護される。

53
□3ノードクラスター構成時におけるノード障害及び削除について
3ノードクラスターでノード障害発生した場合には，動的な障害
ノードを削除は行われない。
ただしクラスターは，2つの正常なノードと1つの障害ノードを
クラスター内に保持しながら，中断することなく運用し続ける
ことは可能だが，正常なノードが2つしかないためクラスターの
保護は完全ではない。

54
□1ノードクラスター構成時におけるノード障害及び削除について
1ノード，つまりシングルノードクラスターは，クラスターと呼
称するものの保護機能はまったく作用せず，シングルノードク
ラスター時におけるノードの障害は，システムそのものの停止
となる。
シングルノードクラスター構成時におけるノード障害や削除は，
クラスター全体の障害や削除と同義で，クラスターの機能やク
ラスターで保持してるデータが全て失われる。

55
2．NutanixにおけるVMの可用性
VMの可用性
VM Availability
2.VM

56
VMの可用性について
VMの可用性は，「Acropolis HA」と「Migrate」の2つの要素で
構成される，
Nutanix CEのPublic Beta Programのce-2015.07.16-betaリリー
スで，Acropolis HAがTech Previewとして追加。
Acropolis HAは，ノード障害等で，そのノード上で動作してい
たVMが死んでしまった場合に，別のノードで自動起動する機能。
Nutanix CEのHypervisorであるAcropolisでは，HAだけでなく，
ライブマイグレーションの機能も無償で提供される。
Acropolis HAとMigrateはマルチノードクラスターを構成した時
点で利用可能で，特別な設定を必要としない。

57
VMの可用性(Acropolis HA)について
ごめんなさい，実はためしてねーです＋調べてねーです。
Acropolis HAについては別の機会にまた…

58
VMの可用性(Migrate)について
Nutanix CEのAcropolisにおけるライブマイグレーションは，自
動又は手動で実行が可能。
自動マイグレーション手動マイグレーション

59
VMの可用性(Migrate)の制約について
マイグレーション先のノードに搭載されるCPUの世代が一致して
いる必要がある。
※正確には，新しい世代のCPUから古い世代のCPUを搭載したノードへ
のマイグレーションができない
マイグレーション先のノードの使用可能メモリが，マイグレー
ション対象のVMのメモリより多い必要がある。
マイグレーション後，WindowsはAcropolisのQEMU-VNCもしくは，
リモートデスクトップでの接続ができなくなる？
※こちらは，うちの環境依存かもしれません，誰が同じ症状が出てい
て対処方法があったら教えて下さい

60
3．Nutanixにおけるデータの耐障害性
データの耐障害性
Data Fault tolerance
3.DATA

61
データの耐障害性について
Nutanixのマルチノードクラスターを触る際には，切っても切れ
ないRF，Nutanixにおけるデータの耐障害性についてですが…
この辺はアカデミックな知識が必要っぽいので，そこはあまり
触れずに，ほぼNutanix Bibleから写経しています。
もっと詳しく知りたい方は，以下のNutanix Bibleをご覧下さい。
日本語訳Nutanix Bible
http://nutanixbible.jpn.org/index.php?NutanixFrontPage
本家のNutanix Bible
http://stevenpoitras.com/the-nutanix-bible/

62
データの耐障害性について
データの耐障害性を示す設定値をRF(Replication Factor又は
Resiliency Factor)と言う項目で設定。
RFは，クラスター内のノードが持つデータのコピーをいくつ持
つか？の設定値。
RF2は，クラスター内で同じデータを2つ持ち，あるノードに接
続されたクラスター内で共有されるPool及びContainerを構成す
るディスクが破損した場合でも，別のノードに接続されたディ
スクにコピーを持つので，ノードの1つがディスクごと壊れた場
合やディスクの1つが壊れた場合において耐障害性を有する。

63
RF2におけるデータ書き込みの挙動
あるノード上のCVMが管理する仮想マシンに対する書き込みが
あった場合，そのノード配下のストレージへの書き込みと同時
に，別のノードのストレージへ書き込みを行う。
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
データ

64
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier

65
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
データのコピー

66
障害発生時の挙動について
データの耐障害性は，データのコピーとノード間通信又は
I/Oパスの切り換えによって実現される。
例えば，ディスクに問題が発生し，格納されたデータの正常性
が失われた場合は，VMが動作しているローカルのCVMを通じて，
別のノードのCVMにデータのコピーを取得を依頼するノード間通
信を行う。

67
ディスクに問題が発生し，格納されたデータの正常性が失われ
た場合の挙動は，以下のとおり。
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
RFによるデータ
のコピー
通常，ローカルのCVM
を通じてローカルの
データにアクセスする

68
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
ディスク
障害発生

69
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
ローカルCVMを経由し，
リモートのCVMを通じ
てリモートのデータに
アクセスする

70
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
RF2を維持するため，
新しいデータのコピー
が生成される

71
データの耐障害性は，データのコピーとノード間通信又は
I/Oパスの切り換えによって実現される。
例えば，ディスクとCVM両方に問題が発生し，VMが動作している
ローカルCVMにアクセスできない場合は，I/Oパスが自動的に切
り替わり，VMは別ノードのCVMを通じてデータのコピーを取得す
る。

72
ディスクとCVM両方に問題が発生し，VMが動作しているローカル
CVMにアクセスできない場合の挙動は，以下のとおり。
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
通常，ローカルのCVM
を通じてローカルの
データにアクセスする

73
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
ディスク
障害発生
CVMも
障害発生

74
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
直接リモートのCVMを
通じてリモートのデー
タにアクセスする

75
SSD
HDD HDD HDD
SSD
HDD HDD HDD
SSD
HDD HDD HDD
HOT Tier
COLD Tier
CVM CVM CVM
のコピー
のコピー
RF2を維持するため，
新しいデータのコピー
が生成される

76
データの耐障害性について(蛇足)
ちなみに…データの耐障害性ではなく，クラスターのノード耐
障害性を示す設定値もRF(Redundancy Factor)と記載されている
ので少しややこしい。
データの耐障害性とクラスターのノード耐障害性は，別物では
あるが，密接に関係もしている(詳細は中の人が別の機会に教え
てくれると思います！)
クラスターのノード耐障害性については，既に紹介したとおり。

77
可用性・耐障害性のまとめ
ノード及びデータの耐障害性は，それぞれ別物だが密接な関係
がある。
ノード及びデータの耐障害性を確保するには，3ノード以上のマ
ルチノードクラスターを構成する必要がある。
データの耐障害性は，データのコピーとノード間通信又はI/Oパ
スの切り換えによって実現される。
VMの可用性は，「Acropolis HA」と「Migrate」の2つの機能で
成り立つ。これらの機能は無償で提供され，マルチノードクラ
スターを構成した時点で特別な設定を必要とせず利用可能。

Nitanixってストレージが売りのソリューションだよね？
ところで
by the way…
78

NutanixのストレージI/Oが凄い！
79
NutanixのストレージI/Oについて
データの耐障害性から少し脱線してNutanixで必須要件のSSD，そ
れからHDDの役割やストレージキャッシュの関係についてさらっと。
Nutanixでは，ストレージI/OをSSDとHDDに加えてMEMORYを使っ
て処理する。
MEMORY
SSD
HDD
SSDSSD
HDD HDD HDD
HOT Tier
COLD Tier
MEMORY
MEMORY

80
NutanixのストレージI/O処理コンポーネント
Nutanixは，MEMORY，SSD，HDDの一部又はそれらをまたがった
「OpLog」，「Extent Store」，「Extent Cache(重複化排除無
効時)/Content Cache(重複排除有効時)」の3つの領域を作成し，
ストレージI/Oの処理を行う。
MEMORY
SSD
HDD
Content
Cache
OpLog
Extent Store
HOT Tier
COLD Tier
SSDSSD
HDD HDD HDD
MEMORY
MEMORY
Extent
Cache

81
OpLog(書き込みバッファ領域)
OpLogはライトバッファ。状況によりリードキャッシュにもなる。
MEMORY
SSD
HDD
OpLog
Rnd Write Read
HOT Tier
COLD Tier
SSDSSD
HDD HDD HDD
MEMORY
MEMORY
Extent Store
順次キャッシュ
から書き出し

82
OpLog(書き込みバッファ領域)
OpLogは，Nutanixで必須要件となっているSSD上の領域を確保し
て作成される。
OpLogは，ランダム特性のあるデータの書き込み時にのみ利用さ
れ，シーケンシャル特性のあるデータの書き込み時には利用さ
れない。
OpLogの最小容量は約100GB，又はNutanixがインストールされた
領域，Cassandraが利用する領域，Extent/Content Cacheが利用
する領域を除いた領域の30%が割り当てられる。
OpLogからExtent Storeに書き出される前にリードが発生すると，
OpLogはリードキャッシュとして機能する。

83
Extent Store(永続的なデータ保存領域)
Extent Storeは，永続的なデータ保存領域。データ書き込みが
直接又はOpLogから非同期でデータが書き出され保存される場所。
MEMORY
SSD
HDD
Content
Cache
OpLog
Extent Store
Seq Write
から書き出し
HOT Tier
COLD Tier
必要に応じて
読み出し
SSDSSD
HDD HDD HDD
MEMORY
MEMORY
Extent
Cache

84
Extent Store(永続的なデータ保存領域)
Extent Storeは，SSDとHDDをまたがった領域を確保して作成される。
Extent Storeには，ランダム特性のあるOpLogに書き込まれたデータ
が，非同期でこの領域に書き出されるか，シーケンシャル特性のある
データが直接書き込まれる。
Extent Storeは，Information Life Cycle Engine又はILMと呼ばれる
機能によって，古いデータはCOLD TierであるHDDに，新しいデータは
HOT TireであるSSDにそれぞれ動的に配置される。
HDDは，ほぼ全てExtent Storeの領域に利用され，Extent Storeが利
用するSSDの領域は，Nutanixがインストールされた領域，Cassandra
が利用する領域，OpLogが利用する領域を除いた領域。

85
Content Cache(リードキャッシュ領域)
Content Cacheは重複排除機能を有効にした場合のリードキャッ
シュでキャッシュデータの重複排除も行う。
MEMORY
SSD
HDD
Content
Cache
Extent Store
Read
HOT Tier
COLD Tier
必要に応じて
読み出し
SSDSSD
HDD HDD HDD
MEMORY
MEMORY

86
Content Cache(リードキャッシュ領域)
Content Cacheは，重複排除機能が有効時に作成されるリード
キャッシュ領域。
Content Cacheは，MEMORYとSSDをまたがった領域を確保して作
成される。
Content Cacheは，同じデータに対して，複数のVMからのアクセ
スがあった場合，データ重複排除した状態でキャッシュデータ
を保持する。
Content Cacheが利用する，SSDにおける領域は20GB。

87
Extent Cache(リードキャッシュ領域)
Content Cacheは重複排除機能を無効にした場合のリードキャッ
シュ。
MEMORY
SSD
HDDExtent Store
Read
HOT Tier
COLD Tier
必要に応じて
読み出し
SSDSSD
HDD HDD HDD
MEMORY
MEMORY
Extent
Cache

88
Extent Cache(リードキャッシュ領域)
Extent Cacheは，重複排除が無効時に作成されるリードキャッ
シュ領域。
Extent Cacheは，MEMORY領域のみを確保して作成される。
※なお，Extent Cacheは将来的にContent Cacheに統合されるとの情
報もある

89
NutanixのストレージI/Oの凄いところ
読み書き共にSSDとMEMORYのキャッシュを使って高速化。永続的な
データ保存領域でもILMがデータの利用状況に応じたSSDとHDDの階
層化ストレージにおけるデータ配置管理を行い遅延の抑制を図る。
MEMORY
SSD
HDD
Content
Cache
OpLog
Extent Store
Seq Write Rnd Write Read
から書き出し
HOT Tier
COLD Tier
必要に応じて
読み出し
SSDSSD
HDD HDD HDD
MEMORY
MEMORY
Extent
Cache

90
NutanixのストレージI/Oのまとめ
NutanixのストレージI/Oは3つの領域「OpLog」「Extent
Store」「Extent Cache/Content Cache」で処理される。
3つの領域は，MEMORY，SSD，HDDをまたがって作成される。
ランダムライトは書き込みバッファのOpLog(SSD)へ。
シーケンシャルライトはExtent Store(SSD/HDD)へ。
リードはまずExtent Cache(MEMORY)またはContent
Cache(MEMORY/SSD)から，キャッシュがなければExtent Storeか
ら読み出し。
Extent StoreはILMによってHOTデータとCOLDデータの管理が行
われ，HOTデータはSSDに，COLDデータはHDDに動的に配置される。

91
03
Nutanix CEにおけるマルチノードクラス
ター構成のまとめ
Today’s
Summary

でんきだい♡ せっちばしょかよーせー
92
Majide Yabai desu
Kekkou yabai desu
Hontoni yabai desu
Easy cluster configuration
Soutou yabai desu
くらすたー
ヤバい！ヤバい！凄い！凄い！
まとめ

Nutanix CE 入門編 -Multi Node 構成編-のまとめ
93
色があったけど一番覚えておいて欲しい点は2つ
• クラスターはコマンド1発の簡単構成
• 高機能な可用性や耐障害性が無償で提供
Nutanix CEのマルチノードクラスター構成の特徴を聞かれたら、
これさえ覚えていれば問題ないと思います！(※あくまで個人的な意見です)

THANK YOU
QUESTIONS?
@hanakara_milk

Nutanix CE 入門 -Multi Node 構成編-

More Related Content

What's hot (20)

Similar to Nutanix CE 入門 -Multi Node 構成編- (6)

More from milk hanakara (8)

Nutanix CE 入門 -Multi Node 構成編-