Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и CSR 1000v
0 likes1,371 views
Документ посвящен виртуализации сетевой инфраструктуры с использованием IOS-XRV 9000 и CSR 1000V, описывая их архитектурные особенности и возможности масштабирования. Рассматриваются подходы к управлению ресурсами, лицензированию, а также производительности, включая различные сценарии применения и поддержку многопоточности. Представленные данные подтверждают высокую производительность и гибкость решения Cisco в контексте современных вычислительных требований.
Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и CSR 1000v
- 1. Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и CSR 1000v Андрей Вишняков avishnya@cisco.com 23.11.15 © 2015 Cisco and/or its affiliates. All rights reserved.
- 2. Содержание Обзор Smart Licensing и схемы лицензирования XRv 9000 Напомню о CSR 1000v Несколько слов проASAv Рассказ про IOS XRv 9000
- 3. IOS-XRv 9000: Позиционирование Расширение XR Edge портфолио 2 8 32 128 512 2048 8192 32768 Не удается отобразить рисунок. Возможно, рисунок Не удается отобразить рисунок. Возможно, рисунок поврежден или недостаточно памяти для его открытия. Перезагрузите компьютер, а затем снова откройте файл. Если вместо рисунка все еще отображается красный крестик, попробуйте удалить рисунок и вставить его заново. Gbps IOS XRv 9000 ASR 9001 ASR 9006 ASR 9904 ASR 9010 ASR 9912 ASR 9922
- 4. • Отдельный LXC контейнер, содержащий средства администрирования IOS XRv • Управление инфраструктурой VM • Установка SMU • Управление жизненным циклом CP и DP LXC o Install o Start/Stop/Restart o Upgrade/Downgrade o Проверка доступности (Heartbeat) Hypervisor LXC VF DP LXC XR CP Data Plane Controller LINUX VM TenGigE0/0/0 GigE0/0/1 GigE0/0/2 MgmtEth0/0/1 vswitch Плоскость коммутации данных Virtual Forwarder (VF) XR комбинированная RP + LC функциональность DPA Номенклатура • Data Plane Controller – DPC • Data Plane Agent – DPA • Virtual Forwarder - UVF IOS XRv 9000 – виртуальный маршрутизатор Сервер LXC Admin
- 5. IOS-XRv 9000: Плоскость управления IOS-XRv Control Plane RX & Interface Classification Traffic Manager & TX Forwarding & Features TCAM PLU TM Pkt. replication IOS-XRv 9000 IOS-XRv Virtual Forwarder CP/DP разделение DPC PD уровень абстракции DPA для физических и виртуальных платформ 64 bit Linux ядро Гибкое распределение CPU/ Memory ресурсов LXC для изоляции процессов Отдельный LXC контейнер средств администрирования SW based HW Assists Полноценный IOS-XR стек • RPL • HA (Process restart, NSR) • BGP-LS • BGP-FS • Multi-instance, multi-AS Support • ISIS, OSPF, Segment routing, …
- 6. Гибко масштабируемый коммутационный уровень • ACLs • uRPF • Marking, Policing • IPv4, IPv6, MPLS • Segment routing • BFD IOS-XRv 9000: Эффективная коммутация данных Полнофункциональная коммутация на базе x86 IOS-XRv Control Plane RX & Interface Classification Traffic Manager & TX Forwarding & Features TCAM PLU TM Pkt. replication • Инновационный виртуальный коммутатор • X86 программная реализация: • Иерархический трафик менеджер с 3 уровнями HQoS, 512,000 очередей • Программные полисеры, что в 4-е раза быстрее чем DPDK эталонные реализации • Программная реализация TCAM с постоянной характеристикой поиска • Плоскость передачи данных оптимизирована для быстрой перемашрутизации данных, а также для передачи IMIX трафика без потерь на скорости порта • Портируемый 64bit C-code (для ARM платформ) • Часть кода идентична Cisco nPower X семейству IOS-XRv 9000 IOS-XRv Virtual Forwarder Иерархический QOS планировщик • На одном CPU ядре • ½ миллиона очередей • 3-уровневый H-QOS Классификация пакетов и балансировка SW based HW Assists
- 7. IOS-XRv 9000: Программный трафик менеджер 512,000 очередей Иерархический QOS планировщик • Strict priority queuing • Weighted fair queuing • WRED • Policing • ½ million queues • 128,000 policers • 5000 policy-maps Child: Classes & Queues Parent: Subscriber Shapers GrandParent: Virtual Port GreatGrandParent: Port Q1 Q2 QN Q1 Q2 QN Q1 Q2 QN
- 8. IOS-XRv 9000: Гибкость и масштабируемость Одно/Несколько CPU ядер, сокетов либо серверов XRv CP 2015 2016+ Single Core Multi-Core Multi-Socket Multi-Server 2015 XRv CP XRv CP XRv CP Разделение плоскостей управления и коммутации позволяет гибко масштабировать систему за счет включения в работу нескольких ядер, сокетов, а также серверов, утилизируя распределенную XR архитектуру
- 9. XRv CP 2015 2016+ Single Core Multi-Core Multi-Socket Multi-Server 2015 XRv CP XRv CP XRv CP Цифры на графике соответствуют Half-duplex показателю производительности Производительность указана для IMIX трафика с включенным функционалом (ACL, HQoS, policing) Поддержка нескольких сокетов и/или серверов подразумевает четыре сокета и/или четыре сервера 8 GBPS 160 GBPS 640 GBPS 40 GBPS IOS-XRv 9000: Гибкость и масштабируемость Одно/Несколько CPU ядер, сокетов либо серверов
- 10. IOS XRv 9000 Требования к аппаратному и программному обеспечению Hardware § Любой x86 сервер с поддержкой виртуализации — Т.е. Intel® CPU с VT-x Hypervisor § VMWare ESXi 5.5 , QEMU/KVM 1.0 Параметр Значение vCPU (Cores) 4 - 12 Memory (RAM) 12GB min, 16GB оптимально Hard Disk 55GB виртуальный диск, ~3GB реальное использование Serial Port XR, XR aux, Admin, Admin Aux NIC Port (E1000/VirtIO/Niantic 10G) От 4-ех до 11-и интерфейсов; 1-ый - XR Mgmt, 2-ой и 3-ий зарезервированы, 4-11-ый - трафик интерфейсы 10
- 11. Обзор NUMA архитектуры Современные x86 сервера имеют несколько CPU § Типична конфигурация с двумя сокетами У каждого CPU собственный банк памяти § Возможно использовать память другого CPU с дополнительной задержкой CPU терминирует PCIe шины, к которым подключены высокоскоростные NIC карты
- 12. IOS XRv 9000 VM Admin Присваивание интерфейсов виртуальной машине Guest Kernel IOS XR DataPlane MgmtEth reserved Gig0/0/0/0 Gig0/0/0/01 Gig0/0/0/2 ... reserved Hypervisor eth3 eth4 eth5 eht0 eth1 eth2 Future: Ctrl Ethernet подключение для Active/Standby Control Plane Internal: Доступ к Linux для разработчиков Важем порядок присвоения интерфейсов виртуальной машине • Первые 3 интерфейса для XR Mgmt Eth и 2-ух зарезервированных интерфейсов/неиспользуемых • Остальные интерфейсы (до 8-ми) аллоцируются в качестве трафик интерфейсов и нумеруются согласно приведенному выше алгоритму Нумерация XR дата интерфейсов • Скоростные интерфейсы поднимаются первыми (т.е. 10GE перед 1GE) • Затем в пределах одной скорости • Физические интерфейсы имеют преимущество перед виртуальными (т.е. 1GE перед virtio) • Затем в пределах одного типа • Преимущество у наименьшего PCI адреса (т.е. 04:00.0 перед 04.00.1)
- 13. Модели I/O и производительность CSR 1000v NIC Driver Virtual NIC (VMXNET3) Аппаратная NIC RX Ring TX Ring Virtual NIC (VMXNET3) Аппаратная NIC RX Ring TX Ring Аппаратная NIC RX Ring TX Ring NIC driver NIC driver NIC Driver Virtual NIC (VMXNET3) Аппаратная NIC RX Ring TX Ring Virtual NIC (VMXNET3) Sereno ASIC HW Queues Paravirtualized Direct I/O VM-FEX || SR-IOV 9 Gbps 11.2 Gbps 13.2 Gbps ** Результаты тестирования CEF 1500 байт коммутации на сервере 4 vCPU, ESXi 5.5 Hypervisor Virtual Switch Справка
- 14. vMotion для VM-FEX с включенным DirectPath I/O 14 Временный переход от DirectPath к стандартному I/O • VM передает TCP поток (1500MTU) • UCS B200 M2 шасси с UCS VIC картой 0 2500 5000 7500 10000 19:06:19 19:06:23 19:06:27 19:06:31 19:06:35 19:06:39 19:06:43 19:06:47 19:06:52 Mbps Time (secs) vMotion на второй хост 1 сек перерыв трафика Справка
- 15. IOS XRv 9000: Варианты внедрения HV Linux IOS-XRv 9000 VR VM Linux pNIC pNIC Сервер IOS-XRv 9000 VR VM HV/OVS/ Overlay… Linux IOS-XRv 9000 VR VM Linux pNIC Сервер IOS-XRv 9000 VR VM Высокопроизводительный NFV режим (PCI pass-through & SR-IOV) Режим Облачных вычислений (Para-virtualized или Fully Emulated) Driver Driver e1000 vNIC virtIO SR-IOV VF vNIC pNIC
- 16. Transmit Thread TX Receive Thread RX Eth Worker Thread Worker Thread Worker Thread Worker Thread Load Balance L2 Classify If Output Traffic Mgr NIC DPDK Driver Eth DPDK Driver Eth NIC Eth DPDK Driver Eth DPDK Driver DPA Stats Collector Interval Timers Детальная схема Data Plane IOS-XRv 9000 Control Core
- 17. Сценарий работы – 2 либо 3 ядра процессу коммутации Core 0 Main Super Worker Core 1 RX FWD TM TX • В случае выделения 2-ух ядер вся коммутация пакетов происходит на одном ядре внутри “super worker” потока • При резервирования 3-ех ядер, одно не используется DPA
- 18. Сценарий работы – 4+ ядра Ядро 0 Ядро2 TM TM TX Worker Ядро 3 – (N-1) FWD Ядро 1 IO RX • При резервировании 4+ ядер, Rx функционал на отдельном ядре в рамках “IO” процесса • Функционал Tx и TM на отдельном ядре, “TM” процесс • Обработка пакетов сосредоточена внутри “worker” процесса, который реплицируется на 1+ CPU ядер • Максимально можем масштабироваться на 16 ядер Main DPA
- 19. • Внутри каждого из этих блоков находится множество VPP узлов, соединённых в функциональный граф • Такой VPP узел обрабатывает фрейм пакетов, до 256-ти в одном фрейме, небольшим размеров кода, содержащимся в кеше процессора § Пакетная обработка – все данные уже загружены в D-Cache процессора § Небольшой размер кода – инструкции уже содержатся в I-Cache процессора Virtual Packet Processing (VPP) для ускорения обработки данных RX FWD TM TX DPA
- 20. Производительность IOS XRv 9000 обработки данных (инженерные данные) 4 Cores (1Rx + TM + worker, 2 CP) 6 Cores (1Rx, 1TM, 1 DPA, 1 Worker, 2 CP) 7 Cores (1Rx, 1TM, 1 DPA, 2 Worker, 2 CP) 8 Cores (1Rx, 1TM, 1 DPA, 3 Worker, 2 CP) 10 Cores (1Rx, 1TM, 1 DPA, 5 Worker, 2 CP) 12 Cores (2Rx, 2TM, 1 DPA, 5 Worker, 2 CP) 46B V4 2.6Mpps 2.68 Gbps 3.8 Mpps 3.96 Gbps 7.5 Mpps 7.7 Gbps 9.5 Mpps 9.7 Gbps 9.4 Mpps 9.6 Gbps 10.8 Mpps 11.1 Gbps 344B V4 2.4Mpps 14.0 Gbps 3.76 Mpps 21.6 Gbps 7.5Mpps 43.5Gbps 7.7 Mpps 44.9 Gbps 8.2Mpps 47.6 Gbps 10Mpps 57.8 Gbps 344B V4 HQoS input policing + Marking +ACL+RPF+ HQoS output 1.5 Mpps 8.7Gbps 1.81 Mpps 10.5Gbps 3.5 Mpps 20.4 Gbps 4.8 Mpps 27.8 Gbps 7.0 Mpps 40.6 Gbps 7.1 Mpps 41.4 Gbps
- 21. Cisco IOS XRv 9000 Производительность • Полноценная тестовая конфигурация : ACL на вход, QoS, HQoS, Reverse Path Forwarding и т.д. • Подается смесь IPv4 и IPv6 трафика с 250,000 потоками • Протестировано на базе Cisco UCS C240 M4 сервера • 14 CPU ядер (из 16) были зарезервированы за виртуальным роутером • Четыре 10GE интерфейса подключены в режиме PCI Passthrough Part 1: http://www.lightreading.com/lg_redirect.asp?piddl_lgid_docid=718760&piddl_lg_pcode=wprightcolumn Part 2 : http://www.lightreading.com/nfv/nfv-tests-and-trials/validating-ciscos-nfv-infrastructure-pt-2/d/d-id/718898 Подтверждено!
- 22. Высокопроизводительный BGP Route Reflector vRR1 vRR2 vRR3 CPE SP Агрегация SP Ядро Дата Центр Cloud Провайдера VM’s IOS-XRv 9000 Тысячи BGP пиров, десятки миллионов маршрутов Add-Path BGP FlowSpec QoS BGP ORR** BFDLPTS (CoPP)
- 23. • 5000 пиров • 16M v4 Single Path • 8M v6 Single Path • До 40M paths IOS XRv 9000 vRR Масштабируемость UCS E5-2667 v3 @ 3.2Ghz Using E1000, 8 core, 6 CP, 2 DP vRR convergence (after clear bgp *) Time IPv4 20M Paths (2M Prefix, 500 Peers) Last session up 0:00:51 BGP converged 0:02:33 IPv4 20M Paths (2M Prefix, 5000 Peers) Last session up 0:03:41 BGP converged 0:07:37 IPv6 20M Paths (2M Prefix, 5000 Peers) Last session up 0:06:40 BGP converged 0:18:34 IPv4+IPv6 40M Paths (4M prefix, 5000 peers) IPv4 AF Converged 0:18:40 IPv6 AF Converged 0:21:55 Internet IPv4 524k, IPv6 22k 500 peers IPv4 AF Converged 0:01:22 IPv6 AF Converged 0:01:09
- 24. Бизнес Интернет сервисы (vPE) vRR1 vRR2 vRR3 Customer Site SP Агрегация SP Ядро Дата Центр Cloud провайдера VM’s DCI vPE для Интернет доступа Интернет IOS-XRv 9000 HQoS ACL NetFlow** E-BGP BFD
- 25. Пример использования (Internet vPE) TOR-1 TOR-2 vPE OSPF/LDP MP-iBGP CPE CPE CPE CPE Q-in-QP- Router TOR – Top of Rack Switch RR • 35Gbps || 30Gbps трафика V4 || V6, 50K потоков данных, обрабатываемых набором - policing, marking, shaping, HQoS • Используется HP сервер 9-ого поколения, 2 ядра под CP и 10 ядер - DP (1 DPA, 2 Rx, 5 WT, 2 Tx/TM) • На vPE запущен OSPF/LDP с P-router, 25K OSPF маршрутов, 16K LDP меток • Также vPE получает 750K IPv4 и 60K IPv6 маршрутов от RR P- Router
- 26. Бизнес VPN (L3VPN) vRR1 vRR2 vRR3 SP Агрегация SP Ядро Дата Центр Cloud провайдера VM’s IOS-XRv 9000 VRF VRF XRv-9000 vPE для L3 VPN
- 27. TOR-1 TOR-2 L3 VPN vPE OSPF/LDP VPN-RR MP-iBGP CPE CPE CPE CPE Q-in-QP- Router P- Router TOR – Top of Rack Switch • 200 VRF, 500 v4 и v6 маршрутов на каждый VRF • 200 v4 и 200 v6 eBGP сессий с BFD (3X3 сек. интервал) • 2 QoS очереди на интерфейс • Всего в IGP 25K маршрутов • Достигается 30G || 30G для v4 || v6 с 50K потоками @ 374 байт с включенным полисингом, маркировкой и HQoS Сервер • C240-M4 сервер с 16G памяти • 2 CPU с 12 ядрами • 2 CP, 10 DP (2 Rx, 5WT, 2 Tx/TM, 1 DPA) • 4 порта 10GE к одному сокету Пример использования (L3VPN vPE)
- 28. CD5 CD6 CD7 CD8 Radar Sep ‘15 Oct ‘15 Nov ‘15 Dec ‘15 Jan ‘16 Feb ‘16 Mar ‘16 Apr ‘16 May ‘16 XR 6.0.0 XR6.0.1 XR6.1.1 IOS XR 5.4 • Basic IPv4 L3 Forwarding • L3 Interfaces over VLAN • QinQ VLAN L3 interfaces • IPv4 Global/MPLS/MPLS- VPN • IPv6 Global/MPLS/MPLS- VPN • IPv4/IPv6/MPLS Policing/ Marking • IPv4/6 ACLs (chained) • Strict uRPF • Hierarchical Policers (conform aware): • Egress TM (H-QoS ph1: 2L ) • BFD v4/6 Single Hop • LPTS based CoPP • EFD DOS protection • 20G IMIX forwarder (20G Bidir per socket) • BGP vRR 64bit (16M+ Routes) • KVM, Openstack, VMWare ESXI • PCI pass-through, virtIO • BFD • BGP FS (slow path implementation) • Licensing • LAG • NSH • TWAMP • Multi-Socket vRR • Multi-TM • QOS-ph2: 3L • Sunstone-CP co-dev • XR app hosting • BGP FS • GRE • BGP 3107 • Multi-socket vPE • Hyper-V • BLB • HSRP, VRRP • BGP ORR • MVPNv4 Rosen Draft • SR TE • ACL Logging • L2VPN: VPLS, IRB • BGP FS • Hyper-V • GRE • BGP 3107 (5.4 conten • SR 2Lbl • Netflow • RESTCONF • AWS support • 6MVPN IR • Docker • BFD Offload • CGN • vLMA • 4VPE IR • HA support • IPSLA • vHost • SR-IOV • GRE SlowPath • VIRL support • Licensing • IPSLA • GRE SlowPath • Weight Watchers (mem) • Licensing (gaps coverage) • XR packaging + Yocto distro • XR M2M, Telemetry • TWAMP • Multi-Socket vRR • Multi-TM • H-QOS ph2: 3L • SR-IOV • Weight Watchers (CPU, disk) • VIRL support (internal) • LAG • NSH • BLB • Multi-socket vPE • HSRP, VRRP • BGP ORR • NetconfYang Schema catch up • XR app hosting IOS XRv 9000 Roadmap
- 29. Содержание Обзор Smart Licensing и схемы лицензирования XRv 9000 Напомню о CSR 1000v Несколько слов проASAv Рассказ про IOS XRv 9000
- 30. Smart Software Licensing Smart Call Home Transport Gateway Или Smart Licensing Satellite Развернутаясеть Cisco Commerce Workspace Cisco Smart Software Manager Создать заказ Управление лицензиями Статистика использования Cisco Smart Software Manager Cisco.com Портал ASR 9000 И vRR/vPE устройства Как это работает … 1 Активировать функционал Cisco Software Usage Лицензия Использование L2VPN L3VPN nV Satellite Optical VidMon Сколько использую? Сколько в наличии? Превышение использования L3VPN лицензий! • Зарегистрировать “Smart” акаунт на Cisco.com портале • При активизации учетной записи есть возможность портировать все ASR 9000 лицензии в Smart акаунт 2 • Затем установить VM – либо Smart Call Home transport gateway или Smart Licensing Satellite • Проверить доступность Cisco.com и зарегистрировать систему 3 • Финальным шагом портировать все существующие лицензии в Smart акаунт • Получать ежемесячные отчеты по использованию
- 31. Cisco Smart Software Manager Глобальный аккаунт Доступность/Нехватка лицензий Перенос лицензий Виртуальные аккаунты Отслеживание событий • Видимость всех лицензий/ купленных продуктов • Понимание доступных лицензий, картины в целом • Своевременная нотификация • Легкость изменений и переноса лицензий Возможность управлять приобретенными лицензиями через Web-портал
- 32. Smart Licensing, баланс удобства и конфиденциальности Прямой доступ к cisco.com Cisco продукты посылают информацию об использовании непосредственно через Интернет Options Доступ к cisco.com через HTTPs proxy Cisco продукты посылают информацию об использовании через Интернет с использование прокси сервера – Smart Call Home Transport Gateway или Apache Сбор статистики локальным коллектором подключенным к Интернет Cisco продукты взаимодействуют с Медиатором, который в свою очередь периодически обменивается информацией с Cisco бэкендом Сбор статистики локальным коллектором без Интернет подключения Cisco продукты обмениваются информацией с выделенным коллектором, отвязанным от Интернет. Раз в месяц оператор вручную переносит информацию в базу данных Cisco Безопасностьиспользования Простотаиспользования 1 2 3 4 Cisco Product HTTPs Cisco Product Transport Gateway or HTTPs Proxy Cisco Product HTTPs Cisco Product HTTPs Your Cisco Software Usage Your Cisco Software Usage Your Cisco Software Usage Your Cisco Software Usage Cisco.com Cisco.com Cisco.com Smart Software Satellite Cisco.com File Transfer Smart Software Satellite
- 33. Лицензирование XRv 9000 IP/MPLS Transport IP/MPLS Transport + L2VPN IP/MPLS Transport + L2/L3VPN FoundationAdvanced LI IP/MPLS Transport + L3VPN H-QoS vRouter RTU – Per VM Часть лицензий применяется к виртуальной машине, некоторые требуются на каждый Gbps обработанного трафика
- 34. Детали Foundation лицензий IP/MPLS IP/MPLS + L2 VPN IP/MPLS +L3VPN IP/MPLS + L2/L3 VPN Basic Premium ✔ ✔ ↕ L3 FIB (IPv4+IPv6+VRF) ≤ 5k >5k ✔ ✔ MPLS TE (Head+Tail) ≤ 10 >10 Bridge Domains Layer 2 Int MAC Scale ✔ VRF ≤ 8 >8 ✔ L3 intf ≤10 >10 ✔ ✔ RIB Тип лицензии Емкость Выбери функционал Выбери скейлинг
- 35. Содержание Обзор Smart Licensing и схемы лицензирования XRv 9000 Напомню о CSR 1000v Несколько слов проASAv Рассказ про IOS XRv 9000
- 36. Cisco Cloud Services Router (CSR) 1000V Cisco IOS XE в виртуальном форм-факторе IOS XE Cloud Edition § Поддержка IOS XE функций на запросу заказчиков Независимость от инфраструктуры § Нет привязки к аппаратным характеристиками серверов, поддержка ESXi, KVM, Xen и Hyper-V гипервизоров Гибкая производительность § Производительность от 10Mbps до 20 Gbps при задействовании от 1 до 8 vCPU Гибкая лицензионная политика § Ограниченные по времени действия и постоянные лицензии Программируемость § Поддержка RESTful API (набор OnePK), Netconf/Yang Сервер Гипервизор Виртуальный коммутатор OS App OS App CSR 1000V
- 37. Функционал и лицензии CSR 1000V Лицензия IOS-XE функционал Виртуализация IPBase § Basic Networking: BGP, OSPF, EIGRP, RIP, ISIS, IPv6, GRE, VRF-LITE, NTP, QoS § Multicast: IGMP, PIM § High Availability: HSRP, VRRP, GLBP § Addressing: 802.1Q VLAN, EVC, NAT, DHCP, DNS § Basic Security: ACL, AAA, RADIUS, TACACS+ § Management: IOS-XE CLI, SSH, Flexible NetFlow, SNMP, EEM, NETCONF ESXi 5.5 XenServer 6.1 KVM (Ubuntu 12.04 LTS, RHEV 3.1, RHEL 6.3) Hyper-V 2012 R2 SEC IPBase включая … § Advanced Security: Zone Based Firewall, IPSec VPN, EZVPN, DMVPN, FlexVPN, SSLVPN, GETVPN AppX IPBase включая … § Advanced Networking: L2TPv3, BFD, MPLS, VRF, VXLAN § Application Experience: WCCPv2, AppXNAV, NBAR2, AVC, IP SLA § Hybrid Cloud Connectivity: LISP, OTV, VPLS, EoMPLS § Subscriber Management: PTA, LNS, ISG AX Весь доступный функционал
- 38. CSR 1000V структура лицензирования Функционал Производительность Тип лицензии Выберите одну позицию из каждой колонки … Пример: IP Base 250 Mbps 1-Year IP Base 10 Mbps 50 Mbps 100 Mbps 250 Mbps 500 Mbps 1 Gbps 2.5 Gbps 5 Gbps Постоянная Подписка (1-год или 3-и года) По использованию (доступно в Amazon Cloud) 10 Gbps SEC AppX AX
- 39. • Признанная NFV платформа в Сиско портфолио • Суммарно более 800 клиентов • Продано около 55K лицензий! § В основном как часть VMDC • Подавляющее большинство покупателей - корпоративные заказчики • 88% проданных лицензий < 250 Mbps Статистика по продажам CSR 1000v 24.1%& 32.9%& 18.9%& 12.0%& 2.3%& 6.5%& 1.8%& 1.0%& 0.3%& CSR$1000v$License$Distribu3on$October$2015$ 10M& 50M& 100M& 250M& 500M& 1G& 2.5G& 5G& 10G&
- 40. (Виртуальный) Private Cloud/DC • CE/PE функционал Public Cloud Примеры внедряемых решений на базе CSR 1000v CSR 1000V VPC/ vDC ISR/ASR WAN CSR 1000V Internet Public Cloud ISR/ASR WAN Internet VPC1 VPC2CSR 1000V Плоскость управления • RR, LISP MS/MR.. Shared Services WAN Campus vWLC vRR vMS/MR vMC
- 41. CSR 1000v и Гипервизор • Пример: 3 CSR VM на базе одного 2- socket 8-core x86 сервера • Гипервизор абстрагирует и распределяет аппаратные ресурсы среди множества VM • Алгоритм соответствия vCPU физическим процессорам влияет на производительность • Гипервизор определяет соответствие vCPU/IRQ/vNIC/VMKernel процессов pCPU Process Queue HV Scheduler Core0 pCPU1 pCPU2 pCPU3 pCPU4 pCPU5 pCPU6 pCPU7 pCPU8 vCPU1 2 vCPU0 3 vNICn 2 VM Kernel1 Core1 pCPU1 pCPU2 pCPU3 pCPU4 pCPU5 pCPU6 pCPU7 pCPU8 vSwitch VM1(4vCPU CSR 1000v) CSR IOS Fman / CMan PPE HQF Rx vCPU0 1 vCPU1 1 vCPU3 1 IRQ1 vNIC1 1 VM Kernel1 PPE vCPU2 1 vNICn 1 Guest OS Scheduler Pkt Scheduler VM2(1vCPU CSR 1000v) vCPU0 2 IRQ2 vNIC1 2 VM Kernel2vNICn 2 CSR IOS Fman / CMan PPE HQF Rx Guest OS Scheduler Pkt Scheduler VM3 (2vCPU CSR 1000v) vCPU0 3 IRQ3 vNIC1 3 VM Kernel3vNICn 3 CSR IOS Fman / CMan PPE HQF Rx Guest OS Scheduler vCPU1 3 Pkt Scheduler
- 42. Рекомендация Детали / Команды Подсистема Disable Hyperthreading Can be done in BIOS CPU Find I/O NUMA Node cat /sys/bus/pci/devices/0000:06:00.0/numa_node Enable isolcpus run command “numactl -H” CPU Pin vCPUs ‘sudo virsh vcpupin test 0 6’ CPU Set CPU in performance Mode run /etc/init.d/ondemand stop. CPU Set Processor into pass-through virsh edit <vm name> add this line <cpu mode='host-passthrough' /> CPU Enable / Disable IRQ Balance run “service irqbalance start” & “service irqbalance stop” NOTE: ONLY IF IRQ PINNING IS DONE! CPU NUMA-aware VM edit vm config by virsh edit <VM name>. <vcpu placement='static' cpuset='8-15'>1</vcpu> CPU IRQ Pinning find specific nic interrupt number from /proc/interrupts. set affinity to other core than pinned cpu than for CPU and vHost pinning CPU 42 Рекомендации по тюнингу KVM для увеличения производительности • Оптимально использовать Direct path I/O технологию (SR-IOV w/ PCIe pass-through) с CPU тюнингом!
- 43. Рекомендация Детали / Команды Подсистема Pin vHost processes ‘sudo taskset -pc 4 <process Number>’, Where <process Number> is found using ‘ps -ef | grep vhost’ I/O Change vnet txqueue length to 4000 Default tx queue length is 500 ‘sudo ifconfig vnet1 txqueuelen 4000’ I/O Turn off TSO, GSO, RSO, ‘ethtool -K vnet1 tso off gso off gro off’ I/O Physical NIC Configuration Change rx Interrupt coalescing to 100 for the 10G NICs I/O Disable KSM echo 0 > /s`ys/kernel/mm/ksm/run Linux Disable Memballoon Edit “virsh edit <VM> , find memballon in vm config file. Please change as <memballoon model='none'/> Linux Disable ARP/IP Filtering sysctl -w net.bridge.bridge-nf-call-arptables=0 sysctl -w net.bridge.bridge-nf-call-iptables=0 sysctl -w net.bridge.bridge-nf-call-ip6tables=0 Linux Optional Linux Tuning sysctl -w net.core.netdev_max_backlog=20000 sysctl -w net.core.netdev_budget=3000 sysctl -w net.core.wmem_max=12582912 sysctl -w net.core.rmem_max=12582912 service iptables stop ( if you don't want linux firewall) Linux 43 Рекомендации по тюнингу KVM для увеличения производительности (продолжение)
- 44. • Около 3 Gbps для IMIX для некоторых функций на базе 2 vCPU • Проведен комплекс работ по оптимизации решения для 2 vCPU • С увеличением количества vCPU ядер проявляется неэффективность планировщика гипервизора § Конфигурации с большим количеством vCPU сказываются положительно на CPU интенсивные задачи (например, IPSec) CSR 1000v IOS XE 3.16 Одномерная производительность в Gbps для IMIX (0.01% Loss Rate, ESXi, Single VM) Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz Traffic Generator : Spirent ( RFC-2544) Hypervisor : Vmware: ESXi 5.5.0, Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)} CEF$ ACL$ NAT$ Firewall$ QoS$ HQoS$ IPSec$Single$ AES$ IPSec$Crypto$ Map$ 1vCPU$ 2.5$ 2.2$ 1.4$ 1.7$ 2.4$ 1.5$ 0.5$ 0.1$ 2vCPU$ 2.9$ 2.8$ 2.4$ 2.7$ 3.0$ 1.8$ 0.8$ 0.2$ 4vCPU$ 2.2$ 2.3$ 2.1$ 2.4$ 2.3$ 1.4$ 1.1$ 0.2$ 0.0$ 0.5$ 1.0$ 1.5$ 2.0$ 2.5$ 3.0$ 3.5$ Throughput)(Gbps)) CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))ESXi:)Single)Feature) (IMIX,)0.01%)FLR,)C240)M3))I)CISCO)INTERNAL)
- 45. • Цифры сходны для ESXi и KVM • Приближается к 3 Gbps для IMIX трафика с 2 vCPU • Добавление vCPU к конфигурации не приводит к увеличению одномерной производительности § Не всегда сбалансированный планировщик гипервизора § vHost-net имеет фиксированный размер TX Ring Buffer - ограничивает количество пакетов, что могут быть переданы в TX направлении за раз • 1 vCPU конфигурация наиболее эффективна CSR 1000v IOS XE 3.16 Одномерная производительность в Gbps для IMIX (0.01% Loss Rates, KVM, Single VM) Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz Traffic Generator : Spirent ( RFC-2544) Hypervisor : KVM Redhat Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)} CEF$ ACL$ NAT$ Firewall$ QoS$ HQoS$ IPSec$Single$AES$ IPSec$Crypto$ Map$ 1vCPU$ 3.0$ 2.7$ 1.9$ 2.2$ 2.6$ 2.1$ 0.7$ 0.2$ 2vCPU$ 2.9$ 3.0$ 2.0$ 2.3$ 2.5$ 1.7$ 0.8$ 0.2$ 4vCPU$ 2.0$ 2.2$ 1.9$ 1.9$ 2.0$ 1.5$ 1.0$ 0.2$ 0.0$ 0.5$ 1.0$ 1.5$ 2.0$ 2.5$ 3.0$ 3.5$ Throughput)(Gbps)) CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))KVM:)Single)Feature) (IMIX,)0.01%)FLR,)C240)M3))K)CISCO)INTERNAL)
- 46. • Многофункциональные конфигурации особенно с включением IPsec выигрывают от добавления vCPU § 4 vCPU значительно увеличивают производительность для IPSec! • Производительность более 1Gbps для NAT +Firewall конфигурации • Криптография значительно влияет на производительность даже при задействовании AES-NI Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz Traffic Generator : Spirent ( RFC-2544) Hypervisor : Vmware: ESXi 5.5.0, Traffic Profile : IMIX {64 byes (58.33%), 594 bytes (33.33%), 1518 bytes (8.33%)} CSR 1000v IOS XE 3.16 Многомерная производительность в Gbps для IMIX (0.01% Loss Rate, ESXi, Single VM) FW+NAT' FW+NAT+QoS' FW+NAT+HQoS' IPSec+FW+Basic' QOS+Nat' IPSec'+'BasicQoS+' GRE' IPSec+'Basic'QoS' +'NAT+'FW'+'Nbar' IPSec'+'BasicQoS' 1vCPU' 1.06' 0.85' 0.95' 0.29' 0.18' 0.28' 0.20' 2vCPU' 1.49' 1.32' 1.30' 0.38' 0.21' 0.36' 0.22' 4vCPU' 1.53' 1.40' 1.38' 0.62' 0.95' 0.52' 0.95' 0.00' 0.20' 0.40' 0.60' 0.80' 1.00' 1.20' 1.40' 1.60' 1.80' Throughput)(Gbps)) CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))ESXi:)Mul@AFeature)) )(IMIX,)0.01%)FLR,)C240)M3))A)CISCO)INTERNAL)
- 47. • В отличии от ESXi система на базе KVM не выигрывает от добавления vCPU для многофункциональных конфигураций • Результат сходен с одномерным случаем CSR 1000v IOS XE 3.16 Многомерная производительность в Gbps для IMIX (0.01% Loss Rates, KVM, Single VM) FW+NAT' FW+NAT+QoS' FW+NAT+HQoS' IPSec+FW+Basic'QOS +Nat' IPSec'+'BasicQoS+' GRE' IPSec+'Basic'QoS'+' NAT+'FW'+'Nbar' IPSec'+'BasicQoS' 1vCPU' 1.50' 1.16' 0.00' 0.31' 0.20' 0.27' 0.16' 2vCPU' 1.56' 1.18' 0.00' 0.39' 0.24' 0.37' 0.22' 4vCPU' 1.51' 1.34' 0.00' 0.58' 0.36' 0.47' 0.51' 0.00' 0.20' 0.40' 0.60' 0.80' 1.00' 1.20' 1.40' 1.60' 1.80' Throughput)(Gbps)) CSR)1000v)IOS)XE)3.16)Throughput)(Gbps))KVM:)MulABFeature)) )(IMIX,)0.01%)FLR,)C240)M3))B)CISCO)INTERNAL) Hardware: UCS C240 M3 : 2x Intel Xeon 2643 3.5 Ghz Traffic Generator : Spirent ( RFC-2544) Hypervisor : KVM Redhat
- 48. • 10Mbps лицензированные CSR 1000v могут быть переподписаны – до 64-ех VM с использованием Linux OVS • Необходимо: • Достаточно ресурсов Памяти & Дисковой подсистемы & Интерфейсов • Общий трафик <= лицензионное ограничение • KVM/ Redhat c OVS • Поддерживается для 1vCPU и 2vCPU • Протестировано и стабильно в том числе и для IPSec + NAT конфигураций • Необходим Hyperthreading • В планах протестировать VM-Fex конфигурацию CSR 1000v /10Mbps Переподписка • Hardware: UCS B200 M4 Blade Server, 2x E5-2690 v3 Intel Xeon CPU, 12 cores, 2.6 GHz, 256 GB RAM • Cisco VIC 1340 adapter • Host OS/Hypervisor: Red Hat Enterprise Linux 6.6 / KVM • I/O Model: VirtIO with OVS version 2.3.1 • Hyperthreading turned ON in BIOS NAT+ACL+QoS* IPSec+ACL+QoS* #*of*1vCPU*tested*with*stability* 74* 73* #*of*2vCPU*tested*with*stability* 70* 73* 0* 10* 20* 30* 40* 50* 60* 70* 80* Number'of'VMs'TESTED' Feature'Set' Number'of'1vCPU'and'2vCPU'CSR'1000v'VMs'in' OversubscripBon'mode' (KVM+RH'with'OVS,'IOS'XE'3.16,'10Mbps'licenses)' Рекомендовано количество VM
- 49. 62, 10 0 100 200 300 400 500 600 700 800 900 1000 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 No Tuning Tuning #1 Tuning #2 Переподписка Средняя пропускная способность на CSR 1000V OVS – NAT+ACL+QOS - CPU: 2x E5-2690 v3, 12 cores, 2.6 GHz - Config: ACL+QOS+NAT(20k sessions) - IMIX traffic, 2 vCPU CSR - OVS 2.3.1. RHEL 6.6 - Tuning #1: DP, vHost and IRQ pinned to same core. - Tuning #2: DP and vHost pinned to different cores. IRQ unpinned. Количество виртуальным машин VM на сервер ПроизводительностьоднойVMвMbps
- 50. 0 500 1000 1500 2000 2500 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 No Tuning Tuning #1 Tuning #2 Переподписка Общая пропускная способность OVS – NAT+ACL+QOS - CPU: 2x E5-2690 v3, 12 cores, 2.6 GHz - Config: ACL+QOS+NAT(20k sessions) - IMIX traffic, 2 vCPU CSR - OVS 2.3.1. RHEL 6.6 - Tuning #1: DP, vHost and IRQ pinned to same core. - Tuning #2: DP and vHost pinned to different cores. IRQ unpinned. Количество виртуальным машин VM на сервер ОбщаяпроизводительностьсерверавMbps
- 51. CSR1000v как vBNG – поддерживаемые профили Профиль vPTA / LAC vLNS vISG Тип сессии PPPoEoVLAN PPPoVLANoL2TP IPoEoVLAN Функционал Input/output ACL, ingress QoS (policing) / egress QoS (shaping), vrf-awareness, IPv4/IPv6 dual-stack, AAA, ANCP IPv4/IPv6, HQoS, Input/ output ACL, dual-stack service and TC accounting, CoA Service Push DHCP, Unclassified MAC, HQoS, Input/ output ACL, ISG TC, L4R, PBHK, Unauthenticated timeout vCPU 2 vCPU Memory 8GB Sessions 8.000 / 8.000 L2TP Tunnels 8.000 Max Throughput (large packet) 2.5 Gbps 2.5 Gbps 5 Gbps
- 52. • Сессионный функционал: • Idle timeout • Input ACL • Accounting • Input QOS - policing • Output QOS - 2 level hierarchy QOS shaping with 4 queues • ESXi производительность лучше чем KVM • При использовании direct I/O техники добавление VM на каждом сервере приводит к линейному увеличению производительности системы CSR 1000v IOS XE vBNG Производительность ESXi & KVM - Single VM (Tire1 SP traffic profile) 3200 2884 4844 4216 6410 8220 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 2x vCPU / 4GB 4x vCPU / 8GB 8x vCPU / 8GB System Throughput (Mbps) CSR1000v System Throughput - Single VM (PDR 0.01%) Profile: 8,000 IPoE Sessions with IMIX - 75% 1430B 16.6% 578B 8.3% 80B KVM / PCI Passthrough ESXI / Vswitch
- 53. • Достижимо 40 Gbps с 8 VM, vBRAS конфигурация (VM-FEX) • Нагрузка 5Gbps/ 5K IPoE сессий на VM • Input ACL (1 ACE/ACL) • 1 QOS Output Shaper with single Queue • Input Policing • Accounting (60min interval) • Наблюдались потери пакетов во входящих очередях на интерфейсах виртуальных машин, общее количество потерь не превышало 0.001 % общего объема переданных данных • Загрузка 36-ти ядер сервера была около 24%, по сути на 100% задействованы лишь 8-9 ядер CSR 1000v IPoE VM-FEX Пропускная способность 1" 2" 3" 4" 5" 6" 7" 8" System"Throughput"(Gbps)" 5" 10" 15" 20" 25" 30" 35" 40" System"Throughput"(KPPS)" 676" 1352" 2028" 2704" 3380" 4056" 4732" 5408" 0" 1000" 2000" 3000" 4000" 5000" 6000" 0" 5" 10" 15" 20" 25" 30" 35" 40" 45" System'Throughput'(KPPS)' System'Throughput'(Gbps)' Number'of'VMs' CSR'1000v'vBRAS'Throughput'with'VMBFEX'for'1B8'VMs' (FLR'0.001%,'Broadband'traffic'mix,'10%'UP,'90%'DOWN,'IOS'XE'3.16)' Upstream: 1400B = 6%, 1000B = 4%, 500B = 12%, 200B = 11%, 100B = 13%, 64B = 54% (Avg Pkt Size = 254B) Downstream: 1400B = 84%, 1000B = 4%, 500B = 5%, 200B = 2%, 100B = 3%, 64B = 2% (Avg Pkt Size = 1250B)
- 54. CSR 1000V Роадмап – 2015 календарный год Функционал &Решения Виртуали- зация Управление RESTful API Производи- тельность Лицензи- рование March 2015 (IOS-XE 3.15) July 2015 (IOS-XE 3.16) IOS XE Релиз vCUBE, vMS 1.0, Boot time improvements, Multicast over DMVPN/mGRE w/ GDOI, SGT Caching Cisco COT tool (next-gen BDEO) NSO (Tail-f) integration vBNG: 1 Gbps, 4000 sessions. 20% improvement in overall performance. Smart Licensing – General Availability (pre-paid). Usage-based licensing (pilots only) Licensing packages for Intercloud Fabric CLNS VM-FEX for RHEL (enic driver support) Openstack (Kilo): CSR as neutron router with plugins for FWaaS, VPNaaS, floating IP KVM installer, Self diagnosis tool vBNG: 5 Gbps, 8000 sessions. vCPU linearity, 50% improvement in Hyper-V New license pkg. and simplified licensing for VACS ДоступноДоступно
- 55. CSR 1000V Роадмап – Будущие релизы Nov 2015 IOS-XE 3.17 IOS XE Релиз Snort/IPS, Segment Routing, SGT based QoS, vCUBE multi-VRF support, FlexVPN double factor authentication vSphere 6.0, MSFT Azure Cloud, RHEL OSP 7, control plane optimization (2 core for control plane) NETCONF/YANG – basic features GETVPN, IPv6, L2TP, AVC, AppNav , IP SLA Доступно VxLAN EVPN control plane, Cloud UTM for vMS, ACI Integration (device pkg for APIC), vCGN NSH - service chaining § SSL VPN scale & perf. – 2 core: 500 Mbps, 500 sessions. § DPDK support – ESXi, KVM § 20 Gbps, 2 core CSR March 2016 IOS-XE 3.18/16.2 Запланировано Функционал &Решения Виртуали- зация Управление RESTful API Производи- тельность Лицензи- рование
- 56. Содержание Обзор Smart Licensing и схемы лицензирования XRv 9000 Напомню о CSR 1000v Несколько слов проASAv Рассказ про IOS XRv 9000
- 57. ASAv Доступна с начала 2015 Cisco ASAv qcow2 image Day-0 configuration KVM 1.0 Virtio driver KVM Поддержка ESXi и KVM гипервизоров vSphere client & ovf_tool OVF Day-0 configuration VMware no-vCenter vCenter OVF Config Dialog VMware ESXi 5.x E1000, VMXNET3 VMware vSwitch or dvSwitch Cisco AVS Nexus® 1000V (no vPath) Open vSwitch Any Virtual Switch Amazon Web Services AMI in the Marketplace Public Cloud
- 58. Hypervisor Cisco Adaptive Security Virtual Appliance Cisco® ASAv (Active) Cisco ASAv (Standby) VM VM VM VM VM VM VM VM VM VM VM VM Virtual Switch VLAN’ы с 802.1q До 200 сабинтерфейсов 10 “физических” интерфейсов (vNICs) на Cisco ASAv
- 59. Cisco ASAv Производительность и масштабируемость Data Sheet Metric Cisco® ASAv5 Cisco ASAv10 Cisco ASAv30 Stateful Inspection Throughput (Maximum) 100 Mbps 1 Gbps 2 Gbps Stateful Inspection Throughput (Multi-Protocol) 50 Mbps 500 Mbps 1 Gbps 3DES/AES VPN Throughput 30 Mbps 125 Mbps 300 Mbps Connections per Second 8,000 20,000 60,000 Concurrent Sessions 50,000 100,000 500,000 VLANS 25 50 200 Bridge Groups (2 VLANs/BVI) 12 25 100 Cisco® Cloud Web Security Users 50 150 500 IPsec VPN Peers 50 250 750 Cisco AnyConnect® or Clientless User Sessions 50 250 750 vCPU 1 1 4 RAM 2GB* 2GB 8GB § Cisco UCS® C260 M2 § Cisco UCS B200 M3 § Intel Xeon processor E5-2640 Tested on Hardware 9.4.1.200 * ASAv5 Changes to 1GB with 9.5.1.200
- 60. CiscoRu Cisco CiscoRussia Ждем ваших сообщений с хештегом #CiscoConnectRu CiscoRu Пожалуйста, заполните анкеты! Ваше мнение очень важно для нас. Спасибо! Контакт: Андрей Вишняков avishnya@cisco.com © 2015 Cisco and/or its affiliates. All rights reserved.