Proxmox 5.0

Editor's Notes

• #2: Proxmox 5 是使用 Debian 9 Stretch [click] kernel 是 Ubuntu 十七點零四. 更新速度快 以及 支援更多新的硬體. 比 Redhat/Centos/FreeBSD 快了一年以上. [click] 這點很重要, 買了新的硬體, 但是如 OS 不支援, 硬體都開始折舊折 然後還不能使用. 企業是不能接受的喲 . 還是企業要購買 舊的硬體? 接近 End of Life 的產品? [click] PVE 完美支援 NVMe SSD, 它也完美支援 Mellanox 四十到一百 gigabit 網卡. FreeBSD 比較慢支援的原因為了穩定性. 由於 PVE 支援這些高端硬體, 它可以建立一個 Super Computing Grid 的架構. [click] 同時它也能支援十年前的 PC, 再陽春的設備也可以, 很多時候都會碰到魚跟熊掌不可以兼得. 但是在 PVE 的世界, 是可以 -大小- 男女老少 - 都能通吃. [click] PVE 是 Bare Metal Solution, 是極輕量的虛擬化平台 跟 VMWare vSphere 一樣, 但是它所需要使用的資源更加的少. 同時也整合好了 Software Define Storage 的儲存系統 建制費用更便宜 是自由以及開放的系統, 支援非常多的檔案格式
• #3: 什麼是 Kernel 核心? 相信大家都知道硬體的核心運算就是 CPU, 很多時候硬體效能是看 CPU. 那麼在軟體架構裡面, Kernel 就是運作硬體的靈魂. 它管控所有的硬體的運作模式. 所以優化過的 kernel, 新版的 kernel, 才能利用到 新的硬體所提供的新效能. 簡單的比較一下 Proxmox 跟 VMWare 早期 Linux 在 kernel 2.6 的時代, ESXI 的效能是真的比 kvm 好很多. 但是現在 kernel 4.10 或是 4.13 的版本, kvm 虛擬化運算的效能其實已經跟 ESXI 不相上下了, 或者是已經開始小贏了, 主要看是做什麼樣的應用情景. 虛擬網路這部分是 VMWare 最強的部分, 它的網通效能以及安全性目前是最好的. Open Virtual Switch 是一直到 2016年8月的時候, VMWare 才把這個 project 的控制權讓給了 Linux 基金會. 同時 70%的原始代碼都是 VMWare 的工程師所貢獻的. 後續我會談到 OVS 是如何在效能上面努力趕上跟 VMWare NSX 的差異. 說到儲存模式, 這個及時 Proxmox 5.0 的強項了. 因為開源, 所以任何檔案格式各種不同的檔案系統都支援. 不過 Proxmox 本身是比較推薦使用 ZFS 格式以及 Ceph Storage 模式. 特別是在 10月底, Proxmox 5.1 將會推出並且支援 Ceph luminous 最新版本的 bluestore 模式. 其效能提升非常大. 主要是採用了 facebook 的 rockdb. VMWare 的儲存模式就比較狹隘. 做資料救援的朋友說, vmfs 其實 ext2 為基礎而已. 再來就是 vSAN 這個儲存系統, 限定只能給 vSphere 使用. 這個就好比你買了一台 vmware 的貨車, 然後它限定你只能運輸 vmware 品牌的產品在這部貨車上. 沒有任何其它家的儲存系統有類似 vSAN 的限制. 這點實在大扣分. 講到 Cluster 集叢管理界面, Proxmox 在這點真的快很多很多跟 vCenter 的 html5 界面比較起來. 實際上它還是包裝著 flex/flash, 所以當你在很急著修改設定或是做移轉的時候, vCenter 真的會氣死你. 兩者都有手機界面. 都不錯, 功能也都差不多, 都可以看到所有 host 或是 vm 的狀態, 也可以修改, 開啟, 關閉 或是連線進入操作 vm. 在 Proxmox 裡面運行的 LXC 是真正的 container. 而在 vmware 裡面跑的 VIC 其實是假 container 真 vm. 這點就很欺騙大眾了 升級這點很重要. 安全性, 穩定性 等等因素. 系統是一定要升級的. Proxmox 可以一路升級上來, 都不會失敗. 就目前為止, 我都還沒有碰過失敗的經驗, 升級後系統開不起來或是 vm 無法啟動. 同時 Proxmox 系統如果是在 zfs 上面的話, 升級前使用快照 snapshot. 失敗的話可以瞬間 rollback 到上一個版本. 在這點上, Proxmox 真的是無話可說. 對於 VMWare vSphere 升級就很痛苦. 原因是它每一代的硬體相容性清單差別很大. 5.5 版本可以使用這個 raid card 或是 這張網卡, 但是 升級到 6.0 以後系統就不支援了. 最後 vsphere 6.5 有一條莫名的鴻溝, 真的很難使用升級模式, 大部分的人都是重新安裝. 這點真的很花費時間去支援. 有的時候 就連小版本升級 vmware 都可以炸掉. 兩天前我才跟朋友聊到, 他只是 6.1.4 升級到 6.1.5. 就完全炸掉了. 
• #4: 軟體式儲存, 避免被 RAID 卡晶片捆綁. 可以在任何支援的系統上還原儲存池. 同時跨操作程式系統, FreeBSD, Linux, 或是 Solaris. 比依靠 UPS 更加穩定的 Copy On Write 避免資料遺失. 就算是在寫入時突然斷電, 舊檔案不會被覆蓋. LZ4 快速同時又使用非常少量的 CPU 運算效能. 是最佳使用 cpu 換取 io 效能的模式 每次讀取都 checksum 驗算, 避免資料損毀. 也可設定定期 scrub 清洗數據, 確保資料完整 RAM Disk 會把 hot data 熱數據放在第一層 ARC 裡面, 提供快速讀取加速 NVME SSD 的 random 4k 寫入比傳統機械式硬碟快了太多, 作為 ZFS 寫入的加速層, 也不會因為斷電後暫存資料遺失
• #5: PVE 是一個 Software Define Computing 的產品, 現在都開始必須要跟 Software Define Storage 以及 Software Define Network 去結合了. 所以一個完整的虛擬化方案, 這兩部分一定不能缺席 在這邊介紹一下 PVE 可以搭配, 我認為最有效能以及潛力的儲存方式. PVE 的 ZFS 支援非常完整, ZFS on Linux 已經非常成熟, 效能也非常的好, 而且它是可以跟 freebsd, nexenta, openindia 的 zfs pool 互相通用的.
• #7: GlusterFS 有分 peer, volume 跟 brick. Brick 是最底層組成的基礎 透過不同的 brick 來建立成不同的 Volume 我們真正能夠讀取文件的儲存池. GlusterFS 效能可以非常的強. 當你啟用 RDMA 模式時, 它複製檔案的方式變成 block 模式. 下面我介紹兩種不同的 volume type
• #10: 這邊是 glusterfs 的 live migration 從我的 HCS3 移轉到 HCS2 上, 同時播放著狂新聞 在 facebook 的 pve 社群裡面, 我有一篇深度教學介紹各種不同 glusterfs 的 volume type 的優點以及缺點. 首先 glusterfs 只能給 vm 使用, 它無法給 lxc 或是 docker 使用. 再來就是它寫入大檔案時的速度比較 https://www.facebook.com/notes/chris-hsiang/glusterfs-%E7%9A%84%E8%A6%81%E6%B1%82-%E6%9E%B6%E6%A7%8B-%E5%AE%89%E8%A3%9D%E6%95%99%E5%AD%B8/10209475791682242/
• #11: iSCSI 是非常成熟的協議. 它是走區塊模式所以效能自然比檔案格式快速很多. 而且幾乎所有的儲存伺服器都支援 iSCSI iSCSI 的儲存模式絕大部分都是作為我的 database vm 的首選模式
• #12: 這個是在測試版本的 Proxmox 5 上面最新的 Ceph Storage 界面. 左邊顯示我所有的 OSD 就是硬碟, 它的種類是 hdd 還是 ssd. 以及它的評重 右邊是 Ceph 的儀表板顯示所有的的效能以及容量資訊 我目前使用的是 bluestore 模式. 它的效能是比上一代快上一倍到兩倍, 但是也沒有什麼教學在外面教你如何設定.
• #13: Ceph Bluestore 還是在 beta 測試階段 Ceph 還是需要專業人士維護的. 當它報錯, 或是其中一個 node 下線時, 還是要修復那個 node 讓它上線的. 不然 node 全部掉光光資料還是會損毀 Ceph Storage 是可以給 docker lxc 容器 以及 vm 使用的. 它這點就跟 GlusterFS 不同. 同時它也是非常重要跟公有云連接的 gateway. 這是我目前特別積極在測試的部分.
• #14: Ceph bluestore 有分三部分 Ceph data 真正儲存數據的地方 block.db 是儲存 metadata 的地方讓數據更加快速被讀取 block.wal 是加速寫入的 buffer. 上述的格式是由 facebook 的 rockdb 的檔案系統優化後, 讓這一代的效能提升非常多.
• #15: 介紹了那麼多種的儲存模式, 各有優點缺點. Proxmox 的強大就是可以同時擁有上述的儲存模式 這邊的截圖顯示了我的 cluster有 ZFS, ceph for vm, ceph for lxc, iscsi 以及 glusterfs storage.
• #16: zfs 並不是 share storage. 所以它的效能跟你 cluster 數量基本上是無關聯性. Glusterfs 的問題在, 當 node 數量越多時, 同時寫入一定會越來越慢. 它的強項是在讀取快. 但是寫入慢. Ceph 則是到吃甘蔗, 越多台速度越快, 同時安全性也增加更多. [建議休息一下 讓聽眾發問]
• #17: 以前在使用 linux bridge 的時候, 一個 bridge 上, 只能有一個 vlan 但是現在在 ovs bridge 上面, 就可以一個 bridge 上, 多個 vlan 網路虛擬化是非常火熱, 但是使用 cpu 來判別封包應該到那個 vm 其實是非常耗資源的, 如果要從 vm 裡面丟出來的封包超過 10gbps, 那麼這台伺服器必須要有處理 1百四十萬 個封包每秒的能力. 但是不論多快的 cpu, 大部分只能處理到 90萬個封包每秒 同時多了 dpdk 的硬體加速 在虛擬網路上能夠得到更多的效能. 這個是 Intel CPU 提供的硬體加速功能. VXLan & OpenFlow 協議讓軟體式的網路覆蓋層可以跨越底層物理基礎設施之間的網絡服務 並且突破了 只有 4096 vlan 的限制
• #18: 為了解決網路虛擬化的效能不足 Mellanox 提供了ASAP二的加速模式 左圖是透過 mellanox connect4x 的網卡開啟 實體虛擬網卡給 vm 使用 右圖則是 直接讓 ovs 使用 mellanox connect4x 上面的 switch 晶片來做封包分流的運算.
• #19: 簡單, 乾淨整齊. HTML 5 界面 左邊是顯示 cluster 裡面的 node 以及其運行的 vm 跟 lxc 右邊主畫面則是顯示 每一個 vm 跟 lxc 運行的狀況 下面則是顯示 log 告知目前 vm 或 lxc 發生了什麼事件 Datacenter 這邊是設定整個 cluster 參數的地方. 譬如可以連接到什麼樣的 storage, 是否使用 AD 或是 openldap 來作為登入的認證服務
• #20: 一目了然, 速度快, 非 flash 界面. 在 node 的界面裡面, 我們可以看到 node 目前運作的情況以及它硬體使用的資源.
• #21: 在 VM 的界面裡面, 我們可以看到 VM 目前運作的情況以及它硬體使用的資源. 以及直接操作 VM. 新版的 novnc 真的非常方便
• #22: 慢得不得了的界面 左邊這一塊是所有的 node 以及下面運行的 vm 的顯示 中間這部分是現實 目前 vm 的配置, 網路, 運行狀態 右邊則是整個 cluster 報錯的訊息. 下面則是最近你做了什麼動作. 基本上 vCenter 也是在這個界面允許你進入 vm 操作, 修改它的設定. 這兩者的畫面幾乎大同小異.
• #23: 左邊的手機顯示 vm 目前運行的情況. 右邊的手機顯示 vm 設定的參數, 這些都是可以修改的.
• #24: 同時它也能讓你遠端連線進去 操作你的 vm
• #25: 一樣顯示 vm 的狀態 很醜 重點無法顯示 時間段的使用效能 一樣可以修改 vm 的參數 更加醜 一樣操作 vm 但是居然不能水平顯示.
• #26: VIC 是每一個 container 都有自己的 linux kernel, VMWare 的說法是這樣子比較安全. 但是實際上這個完全毀掉 Docker 輕量級容器一開始存在的目的. 與其每次都有 重新模擬 操作程式的 網路功能 檔案系統功能 等等, 不如直接使用 Host 的 kernel 來作為這些功能的提供者. Container 最大的目的是裡面計算運作獨立, 不被 host 的 library 版本干擾, 而且只做一兩件簡單的服務而已. 如 dns, http, 或是 database. 但是很少實際使用 container 的模式會把這三樣服務都加在一起. VMWare 的架構, 就是會比 docker 肥, 使用更多資源, 由於啟動時需要 load 自己的 kernel, 自然也比較慢.
• #27: [click] 開機 1 秒 但是 vm 要 45秒以上 [click] RAM 只要 50 MB [click] Yahoo Japan 的記錄是 90秒內開啟 200萬個 container, 但是相同的時間 vm 只能開 20萬個. 輕量化的 Container 可以大幅增加 企業伺服器的運算能力, 這個就是為什麼 大數據 以及 internet of things 都希望使用 container 來做運算跟分析. 因為資料太龐大太多, 使用 vm 實在太過於肥胖. 這點就是 vmware 的弱項.. [click] 國家的競爭能力已經包含了其超級電腦的運算能力. 以前大家看一家公司只會看其管理階層的能力, 以及財務報表的 EPS. 未來一家公司的軟實力, 一定會包含其 IT 運算能力以及分析能力. 現在 Google 的 人工智慧/深度學習 嚇死很多 S and P 五百 的公司. 特別是 Toyota, 福特, 賓士, 寶馬, 這些汽車大廠, 它們覺得自己已經是風中殘燭, 隨時都會被 Google 的無人車給淘汰. 運算能力以及分析能力是讓企業不要走遠路, 避免錯誤, 及時發現浪費的資源以及可能發生的問題. 沒有看到這一點, 將來一定會有問題.
• #28: 除了 LXC 以外, Proxmox 可以平行運行 Docker Swarm. 完全沒有任何的衝突. 我們知道 lxc 是輕量化容器. Docker 也是輕量化容器. 但是什麼時候要使用 lxc? 什麼時候需要使用 docker 呢? 輕量化容器都是走微服務. 也就是一個容器裡面只做一件事情, 不會像以前我們是用 vm 包山包海的. 那麼我們要怎麼決定. 重點是以運行數量考量. 譬如我們現在需要 dns 服務. 但是我們只需要兩個而已, 一個主, 一個副. 那麼這個時候我會選擇使用 lxc. 原因是 lxc 更加接近完整的 os. 它裡面的 dns server 是可以很簡單下個就更新的. 但是 docker 要更新裡面的套件是很麻煩的事情. 大部分 docker 運行起來, 譬如 http 的服務, 它可能一次就跑個 50個 nginx 跟搭配的 php. 所以當你要更新時, 你是 pull 新版的 docker image, 然後告訴 docker swarm 你要一次運行50個或是更多. [建議休息一下 讓聽眾發問]
• #29: 左邊的圖是比較接近 vSphere + vSAN 右邊的圖是比較接近 Proxmox + Ceph
• #30: 左圖是 vSphere+vSAN 如果今天我掉了一台 Storage, 那麼我整體的效能一定會損失 50% 因為我的 io 只有一台伺服器在支撐. 而右圖的模式, 如果我掉一台伺服器, 我的效能只損失四分之一 同時 Hyper Scale 的模式需要六台伺服器, 兩個 switch, Hyper Converged 只需要 一台伺服器, 一個 switch 建制成本跟後續 MA 費用就差很多.
• #31: Database Server VM 模擬比較 local vs iSCSI. 這個測試可以明顯看到當 AFA (All Flash Array) over iSCSI 協議時, 效能下降非常嚴重. 如果我的 Database VM 的 io 是從 local 來的話, 其效能起碼增加50% 以上. 所以這個就是為什麼, 如果使用 AFA, 大部分會建議是用支援 RDMA 的協議種類如 iSER/iWARP, SRP 避免效能下降太多. 這個也就是為什麼最高端的 storage 會開始採用NVMEoF 的新協定.
• #32: 在大量 import vm 時, cli 會比網頁界面迅速許多.
• #33: 我是在 2016年年初把 70多個 vm 從 vmware 移轉到 proxmox 上. 一天內完成. 比較困難的是 windows vm 的移轉, 大部分都是驅動的問題, 所以都會預先先安裝 virtio 的驅動, 再做 v2v 的移轉.
• #34: Live Migration 的功能,跟 vmotion 一樣, 只要有 share storage 就可以做到. [click play] 在這邊我開啟一個 windows 10 VM 然後開始播放 youtube 的 Live 新聞台 先從 第二個 Node 開始 把一個 vm migrate 到第一個 node 上面 當 migration 開始時, PVE 就開始把 VM 的 RAM 從開始從 B 往上面 A 傳送. 就像是電腦進行休眠模式把記憶體 儲存到硬碟裡. 所以網路速度更快, 那麼 Migration 就越快. [pause] 有很多展示使用 ping 來顯示 Migration, 但是使用 live stream video 播放, 讓大家第一手感覺在 vm 上面的使用者, 到底會感受到什麼差異 現在 vm 一二零 還在 Node B 下面, 等一下會就跳到 Node A 上面, 但是 RDP 的連線不會斷, 播放中的 streaming video 也不會斷 . 猜猜看 這個 live migration 是使用怎麼樣的等級的機器完成的? [頓3秒] 主機是 Intel i五 跟 十六 GB 的記憶體. 等一下也可以現場展示
• #35: VDI 建制也一直是企業非常需求的部分. 這邊展示如何利用 PVE 跟 ZFS 的搭配, 迅速建制五個的 獨立檔案系統 windows 十的 VM [play] 這是我在3分鐘內寫的一個簡易 script 填入 vmid, 然後告知要複製的 hdd 位置 就馬上看到 增加了 122~126 這5個 vm. . 最棒的一點是, 儲存空間不會因此而暴增. 再來看看每一個 vm 硬碟使用多少空間 ? 才 8K . 接下來去看每一個 vm, 都是擁有自己的獨立硬碟 也不會關機後資料就不見 . 但是設定的 mac address 要更換一下, 我的 script 偷懶沒有寫入自動增加新的 mac . [等5秒] . 然後就可以開機了, 來開四個 vm 好了 . 當 vm 開啟後, 我們可以看到 console 的開機畫面, 這個已經開啟了, 接下來的也可以看到 windows 十 . 再來這個 demo video 也是 Intel i五 跟 十六 GB 的記憶體.
• #36: 伺服器之間串聯網路的效能非常重要. 我建制過很多系統架構, 最常碰到的瓶頸 都是網卡速度或是 iops 不夠, 非常少碰到是 cpu 不給力或是 ram 不足的問題. 現在 pc 伺服器 大部分都是運算效能過多, 記憶體過多, 所以我們才虛擬化, 讓一台實體主機跑多台虛擬機. . 在虛擬化的過程中, 其實是非常需要 CPU 的 “硬解” 來提供加速的. 要有 VT-X 才能開啟 VM, AES-NI 是重要的加密指令集
• #38: IT Mode就是 把 RAID 卡刷成 HBA 卡 建議少使用 主板上的 hba, 因為使用 pcie 卡, 如果壞掉了, 可以迅速更換. 同時暫時也可以使用 主板上的 hba. 這是前輩給我的教導. 謝謝 威傑科技! 謝謝王大哥. 盡量使用 SAS 硬碟如果許可的話 如果有 NVMe SSD 來做 Cache 真的會讓寫入效能暴增 SR-IOV 當作是硬體式的虛擬網卡, 也只有 透過 SR-IOV 的模式, 才能讓 VM 或是 LXC 使用到“真正” 的10 gpbs. OV Switch 或是 Linux Bridge 從虛擬機傳送封包 到 實體的 switch 效能只有 七 gigabits 左右. 因為 上述這兩個 SDN 受到 cpu 的限制, 沒有辦法在一秒內處理那麼多的封包. 畢竟 cpu 不適合拿來當 switch 的晶片
• #40: Infiniband 所有 Ethernet 的缺點它都~沒有. 沒有 packet loss 沒有 packet out of sequence 的問題 jumbo frame 六萬五千個 byte 而不是 tcp ip 一千五 的MTU 那麼小. 它的 latency 非常的低, 比 Ethernet 低了 10倍以上, 也就是如果 Ethernet ping time 是 零點一 millisecond, 那麼 infiniband 的 ping time 就是 零點零零一 millisecond. 當你在 scale out 做 cluster 的時候, node 之間的快速回應就變成它真正效能的重點, 單一 node 的 cpu 再快, 沒有夠快速的大封包 數據進來給它運算, 那麼 cpu 運算效能就是浪費了 RDMA 是 by pass 其它伺服器上的 cpu, 就可以直接讀取或是寫入 數據 到其它伺服器的 RAM 或是 Storage 裡 在 十 gigabits RDMA Infiniband 的網路, data 的 io, 可以比 10 gigabits Ethernet 的 快上 4 倍. 這個就是為什麼我捨棄 iSCSI.
• #42: 上面是 infiniband 的 ping time 下面是 Ethernet 的 ping time Latency 是差異很多
• #43: Infiniband 四十 gigabit 的網路 [click] 現在的建制成本不到台幣 10萬元 [建議休息一下 讓聽眾發問]
• #44: LXC 隨便我開, 愛怎麼測就怎麼測, 想用什麼 library 什麼環境都隨我, 自由度一百 效率一百 不用等 system admin 開給我
• #45: 我的工作站就是我的 PVE 要 x-window 也行!
• #46: 自建的私有雲, 有以下的優點   有更多的儲存空間 備份模式更加自由 增添需要新的IT服務不會增加費用 使用移動用戶 VPN 專線聯入私有雲不需要特別的費用, 但是 AWS 日本的 vpn 服務是以每分鐘計費 這個表的比較, 你可以看到價格是一半, 但是運算是5倍多, 容量是 7倍多, 最重要的 vpn 在公有雲上面是記時記量的
• #48: 有Proxmox 5 就不需要公有雲? [click] 公有雲有絕對的必要性! 但是比例分配只能 二比八. 核心服務不要上公有雲. [click] 假設我司有一個大型促銷, 參加淘寶的光棍節網路大促銷, 預期為兩個禮拜的時間, 會跟我司交易/庫存系統結合資料的部分 比平時暴增 10倍~20倍. 而我司的硬體服務架構無法快速擴充, 同時如果事先3個月建制, 只是為了這兩個禮拜的服務, 需要每月折舊攤提設備, 但平時都是閒置 90%, 昂貴的折舊攤提也是不符合 ROI 效益 所以使用公有雲的 on demand service 就非常符合經濟效益. 圖表是企業什麼時候需要短暫使用公有雲的服務, 綠色虛線以上時.
• #49: Proxmox 五 訓練費用可能不便宜. 因為自己的時間無價 因為學校沒有教. 所以只能自學, 但是硬體可以使用舊的 pc 或是淘汰的伺服器來測試建制 需要的是, 投資你的時間 任何硬體 [click] [click] [click] 通通沒有問題, 這些是 VMWare 做不到的 [2秒] 已經有太多成功的案例, 台灣的教育界, 是台灣之光 在 PVE 社團裡的國小, 國中老師 或資訊組長都是 Pro 等級
• #50: Proxmox 5 目的不是要省錢 Proxmox 5 目的不是要省錢 [click] Proxmox 5 目的不是要省錢 [click] 而是集中資源資金增加組織的運算以及分析能力, 進而達到組織升級.