20131211 Neutron Havana

OpenStack が実現する仮想ネットワーク
～OpenStack Neutron～ [Havana Update]
Akihiro Motoki (@ritchey98)
OpenStack Neutron Core Developer
Japan OpenStack Users Group
Dec 11th, 2013

はじめに
• 本資料は 2012年12月の OSC Cloud での資料を
2013年12月時点での情報に更新したものです。
• LBaaS などの Network Advanced Service の情報を追
加しています。

自己紹介
• 元木顕弘 (@ritchey98)
– NEC 情報・ナレッジ研究所
– IPルータ、広域Ethernet装置、迷惑メールフィルタなど
の開発をやっていました。
– ここ数年は、ネットワーク仮想化、OpenStack,
OpenFlow 周りで活動しています。

• OpenStack Developer
– Neutron and Horizon Core Developer
– I18N (国際化) team

• Linux JM (日本語マニュアル) Project Maintainer
2013/12/12

Okinawa OpenDays 2013

3

OpenStack Project と Neutron
*-as-a-Service Capability

Compute

OpenStack Service

Nova
Swift (Objects)

Storage

Cinder (Block)
Glance (Images)

identity

Keystone

Network

Neutron
???

Neutron の目的 #1
• Network-as-a-Service (NaaS) を提供する
– テナントが自由なネットワーク操作を提供
• 複数のプライベートなネットワークの作成
• IPアドレスの制御

– 論理ネットワーク操作API
• 論理操作と物理操作を分離
• 物理レイヤーは Neutron (Plugin) が設定する

Neutron の目的 #2
• 複数のネットワーク技術に対応
– データセンタでは新たな要件が発生
• multi tenancy, remote data center, VM mobility, advanced
network services, …

– Nova は VLAN + Linux iptables のみが利用可能
– 新しいネットワーク技術に対応できるアーキテクチャ
• SDN/OpenFlow-based network
• Overlay tunneling (VXLAN, NVGRE, STT, …)
• L2 Fabric (Fabric Path, QFabric, …)

Neutron 仮想NWモデル
• テナントは複数の Network を作成できる
• Network には Subnet (CIDR, GW等) を関連付ける。
– 1つのNWに複数のSubnetを関連付けできる。IPv4+IPv6, IPv4 Address pool 等
– IPアドレスの払い出し (IPAM)
– テナント間での IP アドレス重複にも対応

• Networkに複数のPort を作成できる。(L2SWのポートのイメージ)
– VM の仮想NICはやルータのINF は Port と関連付けられる。

Nova

VM1
10.0.0.2

VM2
10.0.0.3

virtual server
virtual interface (VIF)

virtual port

Neutron

Net1
10.0.0.0/24

L2 virtual network
IPv6

virtual subnet

Neutron でできること
TenantA-VM1
10.0.0.2

TenantA-VM2
10.0.0.3

Tenant-A Net1
10.0.0.0/24

External
Net
88.0.0.0/18

TenantA-VM3
9.0.0.2

virtual server
virtual interface (VIF)

Tenant-A Net2
9.0.0.0/24

SNAT for external traffic
Floating IP

• ネットワークの自由な作成
• IP overlapping Tenant Networks
• 複数 NIC を持った VM の)作成

• ルータ経由で Subnet 間通信
• Floating IP での外部からの接続 (Elastic IP@AWS)

virtual port
L2 virtual network
virtual subnet

Tenant View vs Infra View
Tenant-A
VM

VM

net2
VM

R

net1
VM

Internet

Tenant-A
VM

net1

R

VM

Tenatn View
Infra (Provider) View
VM

VM

vSwitch

VM

VM

vSwitch

VM

VM

vSwitch
Internet

SW

Data Center Network

SW

GW

Tenant View vs Infra View
• Neutron は論理操作をユーザに提供
• 物理操作はプラグイン or NW Controller が行う
Tenant-A
VM

User

VM

net2
VM

R

net1
VM

Internet

Tenant-A

REST API

VM

net1

R

VM

Neutron

Tenatn View
Nova

Infra (Provider) View

Plugin

NW
Controller

VM

VM

vSwitch

VM

VM

vSwitch

VM

VM

vSwitch
Internet

SW

Data Center Network

SW

GW

Neutron API
• Neutron で「正式に」規定されているリソースは Network,
Subnet, Port の 3種類 (Core Resoruces)
– それ以外は Extension として実装。Extension だが
Experimental 扱い以外はリソースモデルが変更されることは
基本的にない。

• Network, Subnet, Port のそれぞれに対して List, Create,
Read, Update, Delete 操作を REST API で行う。
– net-create, net-update, net-delete,
net-list, net-show
– subnet-create, subnet-update, subnet-delete,
subnet-list, subnet-show
– port-create, port-update, port-delete,
port-list, port-show

Network API の例
• API モデルは基本的に REST
• 一般ユーザー向けの API では、論理情報のみが見える
• 管理者権限であれば、物理情報を指定した操作も一部では定義。
GET http://localhost:9696/v2.0/networks/20b49737c718-4f10-8edc-7fe9f8ee7cfd

GET http://localhost:9696/v2.0/networks/20b49737c718-4f10-8edc-7fe9f8ee7cfd

{

{
"network": {
"admin_state_up": true,
"id": "20b49737-c718-4f10-8edc-7fe9f8ee7cfd",
"name": "net1",
"router:external": false,
"shared": false,
"status": "ACTIVE",
"subnets": [
"644f729f-1c86-48b3-91a2-761e29398e81"
],
"tenant_id": "be11ce3cabc74ee68d4f22253ffbb5e8"
}

"network": {
"admin_state_up": true,
"id": "20b49737-c718-4f10-8edc-7fe9f8ee7cfd",
"name": "net1",
"router:external": false,
"shared": false,
"status": "ACTIVE",
"subnets": [
"644f729f-1c86-48b3-91a2-761e29398e81"
],
"tenant_id": "be11ce3cabc74ee68d4f22253ffbb5e8",
"provider:network_type": "vlan",
"provider:physical_network": "physnet_1",
"provider:segmentation_id": 201
}

}

一般ユーザー

}

管理者ユーザー

Neutron API (subnet)
$ neutron subnet-create –name subnet1 net1 172.16.1.0/24
Created a new subnet:
+------------------+------------------------------------------------+
| Field
| Value
|
+------------------+------------------------------------------------+
| allocation_pools | {"start": "172.16.1.2", "end": "172.16.1.254"} |
| cidr
| 172.16.1.0/24
|
| dns_nameservers |
|
| enable_dhcp
| True
|
| gateway_ip
| 172.16.1.1
|
| host_routes
|
|
| id
| 736b30c1-5b83-4b52-b5ac-a397273cb240
|
| ip_version
| 4
|
| name
| subnet1
|
| network_id
| a5d04085-3a15-470f-adca-b67c0958a829
|
| tenant_id
| c3ed8c16308642de9b15647759d9e5e9
|
+------------------+------------------------------------------------+

Neutron API (port)
$ neutron port-show 332d3288-5d7a-4ea9-8af6-9b5c82615bb2
+----------------+--------------------------------------------------------+
| Field
| Value
|
+----------------+--------------------------------------------------------+
| admin_state_up | True
|
| device_id
| d8b5dc3c-f73c-44bf-9c04-13f986cf5e6b
|
| device_owner
| compute:nova
|
| fixed_ips
| {"subnet_id": "d9054ffb-1a0d-41d1-835b-8758d11f0060", |
|
|
"ip_address": "10.0.0.3"}
|
| id
| 332d3288-5d7a-4ea9-8af6-9b5c82615bb2
|
| mac_address
| fa:16:3e:20:b9:f6
|
| name
| port1
|
| network_id
| 6d013e3f-7ea9-402c-9725-9cb693809988
|
| status
| ACTIVE
|
| tenant_id
| 34657b6768184444af7b5081213e6e73
|
+----------------+--------------------------------------------------------+

Neutron Architecture
• 物理ネットワークの制御は Neutron Plugin が行う。
• Plugin を切り替えることで、様々なネットワーク技術を利用
できる。現在は同時には一種類のみ利用可。
CLI / Dashboard (Horizon) / Orchestration Tool
Nova API

Neutron API

Nova

Neutron

Nova Compute

Nova Compute

VM

VM

Neutron Plugin

agent

Physical Network

VM

Virtual Switch

agent

HW Switch

VM

Virtual Switch


Nova API

Neutron API

Nova
Neutron

Nova Compute

Nova Compute

VM

VM

Neutron Plugin

agent

Physical Network

VM

Virtual Switch

agent

HW Switch

VM

Virtual Switch

OpenStack と OpenFlow の連携
Neutron API

Nova API

Neutron

Nova

NEC OpenFlow Plugin

Nova Compute
VM

OFC API
OpenFlow Controller

agent

Nova Compute
VM

VM
agent

Virtual Switch

Virtual Switch

OpenFlow Protocol
Network

VM

HW Switch

最近の構造

Neutron の基本構造
• API に対応して、物理操作を行う Plugin が存在

– Plugin を切り替えることで、様々なネットワーク技術を利用可能
– 複数のPlugin (Core + Service *N) が併存。一つのPluginで複数のAPIも対応可

• OpenStack の一部だが、Neutron 単体でも利用可能
– Neutron API を使うことで、特定のベンダーAPI に Lock-In されにくくなるかも

Neutron API
LBaaS
API

FWaaS
API

L3 API

Compute API

Neutron
LBaaS
Plugin

FWaaS
Plugin

Nova

L2 API

Compute Node

L2/L3 Plugin

VM

Agent
XXX
HAProxy
Driver
Agent

L3
Agent

Network
Controller
OpenFlow Controller など

VM

vSwitch

HW Switch

Neutron Plugin (Core)
•

ML2 (Modular Layer 2) plugin

•
•
•
•
•

Open vSwitch plugin (VLAN, GRE, VXLAN)
Linux Bridge plugin (VLAN, VXLAN)
Hyper-V plugin
Brocade plugin
Mellanox plugin

•

Nicira NVP Plugin
– Will be renamed to Vmware NSX plugin

•
•

Ryu Plugin
NEC OpenFlow Plugin
– Trema SliceableSwitch (OSS), ProgrammableFlow

•
•
•
•

Big Switch plugin
Midonet plugin
PLUGGrid plugin
Cisco Plugin
– Cisco UCS, Nexus 1000V . Open vSwitch もあわせて制御

Neutron ML2 Plugin
• ML2 = Modular Layer 2
– 複数のプラグインを統合する目的で開発
– デフォルトの Reference Implementation となり、OVS / Linux Bridge plugin は
今後削除される。
– 複数のネットワーク技術を同時に使えるようになる予定
– Type Driver と Mechanism Driver の2種類のドライバー

• Type Driver
– ネットワーク種別に応じたリソースの管理を行う。VLAN の ID 払い出しなど。
– ネットワーク種別は、ネットワーク作成時に provider_network extension の
network_type で指定する
– VLAN, VXLAN, GRE, Local, Flat

• Mechanism Driver
– 実際のデバイスの操作を行う。複数の mechanism driver を同時に有効にで
きる (ordered list)。各 mechanism driver は自分が対応しているネットワーク
種別であれば処理を行う。
– Open vSwitch agent driver, Linux Bridge agent driver, Hyper-V agent driver
– Cisco Nexus 1000V driver, Arista driver, Tail-f driver
– L2 population driver
• MAC アドレス情報を OVS に展開し、ブロードキャストを削減する

Neutron の機能ブロック
• Neutron Server
– 論理ネットワークの管理を行う
– Plugin は Neutron Server の一部

• Agent
– Neutron Server 以外のサービスプロセス。Neutron Server 以外のサーバでも
動作可能。
– Plugin の実現方式に応じて、必要に応じて使用する。
実現方式によっては Agent は不要。

• Agent
– Plugin Agent
• 仮想スイッチの情報取得、設定を行う

– DHCP Agent
• 仮想ネットワーク単位のDHCPサーバの管理を行う

– L3 Agent
• 論理ルータの操作を行う。論理ルータは、iptables を利用して実現

– Metadata Agent
• Neutron 環境において Metadata サーバへのアクセスを Nova metadata server にプロキ
シーする。

機能ブロックと配置
External network
Management Network
eth0

eth2

eth0

eth0

eth0

Compute Node

Controller
Node

Nova
Compute

Nova
Compute

Plugin Agent

Plugin Agent

OVS
(br-int)

Neutron
Server

DHCP agent
L3 agent
metadata agt
Network Node
Plugin Agent

Nova(CC)

Compute Node

OVS
(br-int)

OVS
(br-int)

eth1

eth1

eth1

OVS
(br-ex)

Data Network

機能ブロックと配置
• Plugin Agent
– データトラフィックを扱うノードで動作させる必要あり
• Nova-compute ノード
• DHCP-agent が動作するノード
• L3-agent が動作するノード

• DHCP-agent, L3-agent
– いずれか一つのノードで動作させる必要あり
– L3-agent は外部ネットワークとの通信を行うため、専
用ノードにするのが望ましい。
– 現状、Nova-network の multi_host 構成は未対応

Advanced Network Services
• LBaaS
– Grizzly で追加
– 複数の Load Balancer 実装への対応
– 現状は 1-arm Load Balancer のみの対応

Havana で追加
• FWaaS
– Iptables table OSS implementation (+ vendor plugin)

• VPNaaS
– IPSec VPN (L3-VPN) support (Openswan based)

サービス配置パターン
Firewall
Network 1

FW on Port
(security group?)

Network 2

Network 1
FW on Router
External
Network

FW on network

サービス配置パターン
Load Balancer

2-arm LB
1-arm LB
Network 1

Network 1
- terminated
- Router
Network 1
Direct Return

Network 2

Network Service Insertion

Service Insertion

Network 2

Network 1

External
Network
VPN Connection

LBaaS
• Grizzly で追加
– LBaaS API (tenant API) 策定
– HAProxy reference implementation のみ

• Havana
– Service Type Framework
• Backend が指定可能に。複数のドライバーを選択して LB pool を作成
できる

– Vendor Driver, LB Plugin の追加

• Icehouse
–
–
–
–
–

Multiple VIPs per pool, VIP の pool 間での移動
Layer7 support
SSL termination
Routed Service Insertion (LVS based) ?
https://etherpad.openstack.org/p/icehouse-neutron-lbaas

FWaaS
• Havana で追加
–
–
–
–

Horizon, Heat support
FWaaS API (rule, policy, firewall resource)
L3-agent based impl, some vendor plugin
制限事項
• 1 firewall per tenant (with l3-agent)
• Firewall applies to all routers

• Icehouse
–
–
–
–
–

Service Insertion/Service Type Framework
Zone
Apply Operation
Counters
https://etherpad.openstack.org/p/icehouse-neutron-fwaas

VPNaaS
• Havana で追加
– IPSec VPN (L3 VPN) のみサポート
– Horizon, Heat support

• Icehouse
– Service Type Framework
• 複数種類のVPNのサポート

–
–
–
–
–

SSL-VPN
IPSec Certification Support
MPLS/BGP
(L2-VPN?)
https://etherpad.openstack.org/p/NeutronVPNaaSIce
House

Neutron API の位置付け
Horizon, Heat or Orchestration

LBaaS API
HW
Appliance

Process
Based LB
(HAProxy)

LB
Service
VM

Compute API

L2/L3 API
Virtual Router
VM

VM

VM

Virtual Network

OpenStack が提供するのは Abstraction と Integration (≠ Virtualization)
Neutron には L2/L3 API と Advanced Service API が両方存在している。
両者を区別してみると、理解しやすいと思います。

Neutron を使う上でのTips (1)
• Network Namespace
– Linuxが持つネットワーク仮想化の機能で、１つの物理ホスト上に、
複数の独立したネットワーク機能を構成できる。
他の Namespace の影響を受けない。
– Neutronでは、IPアドレスが重複したネットワークを扱うために、
Network Namespace を利用しています。
起動したVMの動作確認に ping を打とうとした際に、
制御サーバから Ping を打っても届きません。
 Network Namespace 内からコマンドを実行する必要があります。
ip netns exec <netns-name> ping 192.168.1.10

– 詳しくは “network namespace” で検索してください。
– 新しめのカーネルが使用されている Linux (Ubuntu 12.04など)では問
題なく動作します。 RHEL6/CentOS6系ではそのままでは動作しないた
め、RDO で配布されているカーネルを使用する必要があります。
– 基本的には Network Namespace を有効にして Neutron を使うことを
推奨します。

Neutron を使う上での Tips (2)
• ネットワークの操作は neutron コマンドで
– nova-manage network は使わないで下さい。
create コマンド自体は成功して、list でも表示されますが、何の
意味もありません。Nova DBに書き込んでいるだけなので。

• KVM
– （おそらく） /etc/libvirt/qemu.conf に以下の設定が必要です。
– Neutron では作成済みの tap device を指定してVMを起動しま
す。そのため、QEMU が tap device を操作できるように設定が
必要。
cgroup_device_acl = [
"/dev/null", "/dev/full", "/dev/zero",
"/dev/random", "/dev/urandom",
"/dev/ptmx", "/dev/kvm", "/dev/kqemu",
"/dev/rtc", "/dev/hpet", "/dev/net/tun",
]

20131211 Neutron Havana

More Related Content

What's hot (20)

Viewers also liked (7)

Similar to 20131211 Neutron Havana (20)

More from Akihiro Motoki (8)

20131211 Neutron Havana