近頃のDockerネットワーク
- 1. 近頃のDockerネットワーク 2015 8/8 NTT ソフトウェアイノベーションセンタ 大嶋悠司
- 2. 自己紹介 • 大嶋 悠司 • 所属 NTT SIC • 元々機械学習畑 • OSSやホワイトボックススイッチを触る – GoBGP：Go言語BGP実装 (h9p://osrg.github.io/gobgp/) – Docker
- 3. 今日の メイン
- 4. Docker • コンテナ仮想化技術を利用したアプリケー ション基盤ソフトウェア • イメージ管理機能があり，容易にアプリを動 作する環境を持ち運べる • 最近ネットワーク周りに力を入れている
- 5. Linuxコンテナ 物理マシン ホストOS ハイパーバイザ ゲストOS 物理マシン ホストOS アプリ ア プ リ ア プ リ ア プ リ ゲストOS アプリ コンテナ 起動が早い・オーバーヘッドが少ない イメージが軽量 : 最低限のイメージ(busybox)なら2.4MB Ubuntu14.042でも188MB
- 7. Docker Toolbox h9ps://www.docker.com/products/overview Docker engine v1.7 コンテナの起動 Docker Machine v0.3 コンテナ実行環境構築 Docker Compose v1.3.3 複数コンテナの構成定義 Docker Swarm v0.4 コンテナクラスタ構築 Docker Registry v0.91 コンテナイメージの 保管管理 KitemaXc デスクトップ向けGUI
- 8. SoYware Infrastructure Plumbing libnetwork コンテナのネットワーク管理 RunC コンテナ起動ツール 今回はこの２つ！
- 10. Dockerのネットワーク linux kernel libnetwork driver docker0作成 NAT設定書き込み
- 11. libnetwork ドライバ docker network create -‐d ドライバ名 • libnetwork driver – bridge(デフォルト) ホストでNATされるブリッジ接続 – null 所謂-‐-‐net=none – host 所謂-‐-‐net=host – overlay VXLANでトンネルを張る – windows(?) スケルトンだけ docker/vendor/src/github.com/docker/libnetwork/drivers libnetworkは指定するドライバによって提供されるnetworkを変える
- 12. Overlay Driver Docker 1.8-‐experimentalから利用可能 Docker netowrkコマンドが追加 service という概念が追加 マルチホストをサポート service：あるホスト名がどのendpointを向くか a9ach/detachで別のコンテナに向けることが可能
- 13. Overlay Driver linux kernel overlay driver libkv network名 ip ホスト名 VNI を共有
- 15. 実際に中身があるDriverは Bridge ・ overlay ぐらい．．． 新しいものが追加されるの待ち なんか自分で作りたい！
- 16. で VLANドライバを作ってみた
- 17. libnetwork ドライバ中身 Ø Config Ø CreateNetwork Ø DeleteNetwork Ø CreateEndpoint Ø DeleteEndpoint Ø Join Ø Leave がインターフェースとして定義 ネットワークの情報を格納する構造体はドライバごとにちょっとづつ違う 例えばBridgeドライバはnetworkConfiguraXon
- 18. VLAN拡張．．．
- 19. 何をやりたかったか コンテナ１ コンテナ２ コンテナ３ コンテナ4 VLAN10 VLAN20 ホストの外のVLANネットワークにコンテナを繋ぎたい
- 20. こんな実装にしたい Container1 Container2 eth0 eth0 veth1 veth1 eth0 eth0.200eth0.100 br100 10.0.0.1 br200 10.0.1.1 でもこれって ブリッジ作ってエンドポイント付けたり ブリッジ配下のエンドポイントにIP振ったり 大部分がBridgeドライバを流用できる… VLANドライバつくろう BrigadeドライバをVLAN拡張しよう
- 21. 変更しなきゃいけないところ • １つのホスト内で複数のVLANを設定したい • コマンドからVlanIDなどを指定したい • 接続される物理インターフェースを指定して VLAN設定したい • VLAN毎にIPアドレスを管理したい
- 22. １つのホスト内で複数のVLANを設定 ネットワーク毎にVLANに紐付いたブリッジを作成 networkConfiguraXon networkコマンドのオプションの値を格納 ネットワークごとにVLAN IDを持つ
- 23. コマンドからVlanIDなどを指定したい network createの時にVLAN IDを設定されたnetworkを作成 func parseNetworkOpXons：でコマンドからVLANIDなどを取ってきて．．． func CmdNetworkCreate：ネットワーク作成時にVLAN IDを設定
- 24. 拡張したコマンド(デモ) Ex: VLAN 100をeth0に紐づけて作成 Ex: コンテナをVLAN 100にアタッチされた状態で起動 # ./docker-1.8.0-dev network create -d bridge --vlanid=100 --ifname=eth0 vlan100 # ./docker-1.8.0-dev run -itd –net=vlan100 ubuntu /bin/bash
- 25. IP指定するときはこんな感じ Ex: VLAN 100を作成かつブリッジに特定のIP，配下のエンドポイントのIP範囲指定 Ex: コンテナをVLAN 100にアタッチされた状態かつIPを指定して起動 # ./docker-1.8.0-dev network create -d bridge --vlanid=100 --ifname=eth0 -‐-‐ bip=10.0.0.1/8 -‐-‐fixed-cidr=10.0.0.0/16 vlan100 # ./docker-1.8.0-dev run -itd -‐-‐net=vlan100:<container-‐IP> ubuntu /bin/bash 内部ではipコマンド叩いてサブインタフェース作っている https://github.com/dockervlan/docker
- 26. Dockerネットワークまとめ • DockerのNWは今後libnetworkを中心に発展してい きそう • Weaveもremote driverとして取り込まれる予定 • 今はNATとコンテナ同士のVXLAN．他にどんなNWが あればいいか • 今回は省略したがオーケストレーションツール （swarm compose）とNWが発展してきた • Webアプリ以外のユースケースを広げるには？
- 27. ここから コンテナ 「の」 ネットワーク の話から コンテナ 「を」 ネットワーク の話に
- 28. ホワイトボックススイッチ • ソフト・OS・ハードは統合されて販売 • 大半のソフトウェアはクローズド アプリケーション ハードウェア OS アプリケーション ハードウェア (ユーザの選択した)OS • OS・アプリケーションはユーザが選択 • 自由にアプリの開発が可能 OSとして例えばCumulus LinuxはLinuxベースのスイッチOS Linuxでアプリを作る間隔でスイッチ上のアプリを開発可能 アプリのデプロイをコンテナでできれば楽だなぁ．．．
- 29. Docker on Cumulus Linux • CumulusはDebian7ベースの独自カーネル • HW(quanta)のストレージが極端に少ない ü BackPortsなしにDebian7にDockerを入れるのは結構面倒 ü バイナリを持っていけば動くが，iptablesを書き換えられない（NATを切 る必要） ü aufs, devicemapperどちらも使えない（vfs利用） ü そもそもdockerのイメージですら更新が増えると容量を圧迫 そこでRunCですよ！
- 30. RunC ？ RunC とは Open Container Projectに準拠させたコンテナ管理ツール libcontainerベース 常駐デーモンがいない イメージ管理などはない go言語で簡単コンパイル
- 31. 使い方は簡単(デモ) • go get github.com/opencontainers/runcでとってきて • make → make install • 別の場所でdocker export コンテナ名 > container.tar でtarに固めたコンテナを • tar xvf container.tar -‐C rooks でrooksに展開 • runc spec > config.jsonでspecファイル作って • sudo runc でコンテナが動く！
- 32. RunC on White Box Switch • ホワイトボックススイッチでもコンテナは動く！ • まだ制限は多いがスイッチ上でコンテナを使 えば容易にアプリがデプロイできる • 今後NW機器でもコンテナが動いていく！（か も）