Архитектура и решения Cisco для современного ЦОД
4 likes1,603 views
Документ описывает архитектуру и решения Cisco для современных центров обработки данных (ЦОД), фокусируясь на интеграции технологий, таких как Cisco UCS и управление облачными вычислениями. Основное внимание уделяется эволюции инфраструктуры, включая консолидацию трафика, улучшение эфирной связи и поддержку виртуализации через инструменты, такие как Nexus 1000V и FabricPath. Также рассматриваются лучшие практики и стратегии по проектированию и реализации новейших архитектур ЦОД.
Архитектура и решения Cisco для современного ЦОД
- 1. Архитектура и решения Cisco для современного ЦОД Скороходов Александр Системный инженер – консультант askorokh@cisco.com +7(495)789-8615
- 2. План потока по центрам обработки данных День 1 День 2 День 3 Тесно интегрированные Программные комплексы решения Cisco и NetApp ЦОД будущего: универсальные Struxureware для контроля для построения строительные блоки с единым инженерных инфраструктур. современного ЦОД. управлением. Компания EMC Компания Schneider Electric Компания NetApp Принципы построения Объединенная Архитектура и решения катастрофоустойчивых ЦОД. вычислительная система Cisco для современного Связь распределённых ЦОД с Cisco UCS. Совместно с ЦОД использованием технологий Cisco компанией I-Teco (2 часа) OTV и LISP (2 часа) Развитие технологий Эволюция технологий оптимизации Коммутаторы сетей хранения унифицированной сети приложений - Cisco WAAS Cisco MDS 9000 ЦОД (FCoE, FabricPath) Объединенные сетевые Преимущества внедрения Unified Облачные решения компании сервисы для Communications на платформе Cisco BMC Software на платформе виртуализованных UCS. Компания CTI Cisco UCS вычислений Развитие технологий Опыт внедрения решений Cisco UCS Развитие семейства коммутации трафика на инфраструктуре заказчиков. коммутаторов Nexus: виртуальных машин Компания Техносерв Nexus 7000, Nexus 5000/2000 Дизайн небольшого ЦОД (2 часа) Сессия неформального общения по тематике ЦОД
- 3. Дополнительные потоки по тематике ЦОД Облачные вычисления. День 2 Демо-поток по ЦОД. День 3 Стратегия реализации "облачных вычислений" предприятия. На что нужно Демо-сессия Citrix - OCS обратить внимание CIO? Технологии распределенного уровня доступа, Облачные технологии от оператора связи Cisco vPC+ и Cisco FabricPath для построения Компания Orange масштабируемых L2-сетей в ЦОД. Реализация подхода десктоп как услуга на базе совместного решения Citrix Связь распределенных ЦОД XenDesktop и Cisco UCS. Компания Citrix "Unified Communications as a Service". Технологии коммутации трафика физических и Предложение Cisco виртуальных машин: Cisco Adapter-FEX и VM-FEX. Vblock demo Customer Case Study. Tieto Сергей Елкин, iTeco "Security as a Service". Система управления Cisco Предложение Cisco Unified Computing Systems Manager
- 4. Эволюция идеологии ЦОД Фаза 1 Фаза 2 Фаза 3 Консолидация и управляемость Распределенная Сервис- Мейнфреймы обработка ориентированный ЦОД Виртуализация Централизация Децентрализация Облачные вычисления Эволюция архитектуры приложений
- 5. Эволюция ЦОД: сервера • Традиционный ЦОД: – Одно приложение – один сервер – Тысячи и десятки тысяч серверов – Средняя утилизация < 10-15% 48 блейдов Cisco UCS B230 – Типичный сервер: 1-4 процессорных ядра, 960 процессорных 4-8 ГБ памяти ядер Westmere EX • ЦОД нового поколения До 24 ТБ DRAM – Виртуализация серверов и рабочих мест – Сокращение числа серверов, площадей и мощности на тот же объём задач – Средняя утилизация 50-60% и более – Типичный сервер: 8-20+ процессорных ядер, 48-192+ ГБ памяти – Миграция RISC систем на стандартные архитектуры
- 6. Эволюция ЦОД: питание и охлаждение • Традиционный ЦОД: – 2-5 кВт мощности на стойку – Охлаждение «зала в целом» • ЦОД нового поколения – До 20-30 и более кВт на стойку – Управление потреблением – Эффективное разделение потоков воздуха: горячие/холодные коридоры, «дымоходные трубы», жидкостное охлаждение – Новые технологии гарантированного питания: роторные ИБП – Новые технологии охлаждения: «естественное охлаждение» (free cooling)
- 7. Эволюция ЦОД: кабельная система • Традиционный ЦОД: – «Витая пара» до серверов – до 1 Гбит/с – Многомодовый магистральный кабель (1-10Гбит/с) – Отдельная СКС для SAN • ЦОД нового поколения – 10 Гбит/с до серверов: твинаксиальные кабели/Cat 6A/Cat 7 – Магистральные соединения готовые к 40/100 Гбит/с: «групповые» оптические кабели – Единый конвергентный транспорт для SAN – Влияние на топологию СКС
- 8. Требования к сети ЦОД нового поколения И их реализация в решениях Cisco • Повышение производительности подключения серверов и магистрали 10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath • Консолидация ввода-вывода серверов Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX • Более простая и «плоская» архитектура сети ЦОД без опоры на STP Virtual Portchannel, FEX, TRILL/FabricPath • Сетевая поддержка виртуализации Nexus 1000V, VM-FEX • Надёжная и производительная связь ЦОД OTV, LISP
- 9. Ключевые технологии Cisco для ЦОД • Консолидация транспорта – FCoE и DCB • Эволюция дизайна сети ЦОД – VPC – FEX – FabricPath/TRILL • Сетевая поддержка виртуализации – Nexus 1000V – VM-FEX/Adapter-FEX • Надёжная и производительная связь ЦОД – OTV – LISP
- 10. Консолидация ввода-вывода: Объединенный транспорт FCoE/IEEE DCB Internet/ Storage RDMA/IPC LAN SAN Intranet Unified LAN SAN IPC Fabric IPC Сегодня • Много портов ввода-вывода Используя FCoE/DCB • Высокие расходы на оборудование и • Общий транспорт эксплуатацию • Обеспечение совместимости
- 11. Fibre Channel over Ethernet (FCoE) • Метод передачи фреймов FC по Ethernet – Выглядит как FC для серверов и сети Ethernet – Сохраняет текущую инфраструктуру и управление FC – Фрейм FC остается неизменным • Может работать на стандартных Fibre Channel коммутаторах (с jumbo фреймами) • Priority Flow Control обеспечивает отсутствие потерь – Имитирует систему буферных кредитов FC • Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5) Cisco первой представила основанный на стандартах Весна 2008 коммутатор FCoE Cisco Nexus 5000
- 12. FCoE: консолидация на уровне доступа • Первый шаг – «консолидация доступа» («Unified Wire») • Существенная экономия при сохранении существующего ядра сетей Ethernet и Fibre Channel SAN A SAN B 10GE Backbone VF порты VN порты (CNA)
- 13. FCoE: консолидация в масштабах сети FCoE Enhanced Storage § Расширение консолидации Ethernet Fabric ввода-вывода на магистраль § Поддержка разделения VE SAN фабрик для отказоустойчивости VE § Поддержка систем VF хранения с подключением VN по DCB/FCoE
- 14. Ключевые технологии Cisco для ЦОД • Консолидация транспорта – FCoE и DCB • Эволюция дизайна сети ЦОД – VPC – FEX – FabricPath/TRILL • Сетевая поддержка виртуализации – Nexus 1000V – VM-FEX/Adapter-FEX • Надёжная и производительная связь ЦОД – OTV – LISP
- 15. Развитие архитектуры сети с Cisco Nexus Spanning-Tree vPC FabricPath 16 Switches Активных Один Два 16 путей Производитель- До 15 Тбит/с До 30 Тбит/с До 240 Тбит/с ность блока Масштабируемость Layer 2 Виртуализация инфраструктуры и производительность
- 16. Virtual Port Channel (VPC) на Cisco Nexus Обзор функции • Возможность организации агрегированного канала (port channel) приходящего на два разных коммутатора • Избавляет от опоры на STP • Использование полосы всех Без vPC имеющихся соединений • Быстрая сходимость при отказе устройства или канала • Обеспечение отказоустойивости и масштабируемости при подключении серверов • Сокращение CAPEX и OPEX • Совместимость со всеми функциями С использованием vPC
- 17. Миграция на VPC с традиционного дизайна Primary Secondary • Без vPC Root Root – STP блокирует резервные соединения – Балансировка загрузки по VLAN – «Петли» заблокированные STP – Сбой протокола à M • С vPC – Соединения не заблокированы – Балансировка с помощью EtherChannel – Выше производительность – Отсутствие «петель» ü ü ü ü
- 18. Виртуальное модульное шасси Зима 2009 Nexus 5000 + Nexus 2000 Nexus 5500 Виртуальное модульное шасси + Nexus 2000 = • Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5000 • Единый конфигурационный файл на Nexus 5000 • Между FEX и Nexus 5000 не используется STP
- 19. Fabric Extender (FEX): унификация архитектуры уровня доступа • Cisco Nexus 5000 + FEX: виртуальная модульная Core система Layer • FEX: виртуальная интерфейсная карта Nexus 5000 • Nexus 5000: управление и конфигурация • Внедрения ToR, MoR, EoR Agg Layer • Подключение серверов 100M, GE à 10 GE à FCoE VSS/vPC • Поддержка Nexus 5000/5500, 7000 и UCS 6100 как L3 «материнских устройств» L2 Nexus 2000 Nexus Fabric FET/Twinax 5000 Extender Серверы Медь/ Twinax Access Layer
- 20. Потребность в L2MP Spanning Tree превращает многосвязную сеть в дерево • Нужно альтернативное решение, позволяющее: – Задействовать все соединения – Наращивать производительность путем увеличения числа связей – Принципиально исключить возможность бесконечных «петель» – Обеспечить быструю и надежную сходимость • ...и всё это – для коммутации на втором уровне!
- 21. Cisco FabricPath: ключевые возможности • Продолжение возможностей TRILL Лето 2010 • Маршрутизация на втором уровне с использованием до 16 альтернативных путей (ECMP) • Заголовок FabricPath: иерархическая адресация со встроенным предотвращением «зацикливания» Cisco FabricPath Up to 16-Way L2 ECMP • Выучивание MAC «по диалогам»: эффективное использование Up to 16Way аппаратных ресурсов L2 ECMP Cisco FabricPath • Совместимость с «классическим» Ethernet • VPC+ обеспечивает VPC в L2MP сеть • STP Boundary Termination • Поддержка множественных топологий – возможность Traffic Engineering
- 22. Использование FabricPath в корпоративном ЦОД Альтернатива традиционной архитектуре с STP • Существенное повышение производительности • Повышение надёжности • Упрощение эксплуатции – меньше устройств – проще настройка Традиционная сеть со Spanning Tree Сеть на базе FabricPath Blocked Links Oversubscription 16:1 Fully Non-Blocking 2:1 FabricPath 4 Pods 8:1 64 Access Switches 8 Access Switches 2, 048 Servers 2, 048 Servers
- 23. Ключевые технологии Cisco для ЦОД • Консолидация транспорта – FCoE и DCB • Эволюция дизайна сети ЦОД – VPC – FEX – FabricPath/TRILL • Сетевая поддержка виртуализации – Nexus 1000V – VM-FEX/Adapter-FEX • Надёжная и производительная связь ЦОД – OTV – LISP
- 24. Распознать в сети трафик виртуальной машины Проблемы: • VMotion может переместить VM на другой сервер. Политика должна VMo;on следовать вслед за VM • Сеть не «видит» локально коммутируемый трафик и не может применить к нему политику • Сеть не может выделить на порту трафик конкретной VM • Изменение модели эксплуатации Сетевая поддержка виртуализации: VLAN 101 • Расширяет сеть до VM • Общие с физическими коммутаторами функции сетевых сервисов • Скоординированное с VM управление
- 25. Cisco Nexus 1000V Виртуальный распределенный программный коммутатор • Nexus 1000V обеспечивает полнофункциональную коммутацию для VMWare ESX • Ключевые возможности: Server 1 Server 2 – Управление VM по политикам VM VM VM VM VM VM VM VM VM – Функции безопасности, #1 #2 #3 #4 #1 #5 #5 #6 #7 #8 поддержка Netflow, ERSPAN, мультикаста, etherchannel – Мобильность настроек сети, VMware vSwitch Nexus 1000V Nexus 1000V VMware vSwitch Nexus 1000V безопасности и мониторинга – Сохраняет эксплуатационную VMW ESX VMW ESX модель • Сохранение политик и связи с сетью при Nexus 1000V использовании VMotion VSM Virtual Center
- 26. VM-FEX с использованием Q4’2009 виртуализированного адаптера Cisco VIC Сейчаc Cisco VM-FEX VM VM VM VM VM VM Virtual Switch Virtual Switch Virtualized Adapter No Network visibility VM-level Network Visibility Multiple vNICs Into virtual machines • Изоляция подключений VM – защищенная среда виртуализации – Применение сетевых политик к конкретным VM • «Видимость» для сети отдельных VM – упрощение диагностики – Однозначная идентификация трафика VM
- 27. Эволюция технологии Fabric Extender Распределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройство Network Administrator Fabric Extender IEEE 802.1BR* § Консолидация управления сетью Many applications FEX § FEX является частью require «родительского коммутатора» multiple interfaces § Использует пре-стандартную реализацию IEEE 802.1BR Legacy *IEEE 802.1BR pre-standard
- 28. Эволюция технологии Fabric Extender Распределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройство Network Administrator IEEE 802.1BR* Adapter FEX Many applications FEX § Консолидация многих интерфейсов require в единое 10GE подключение multiple interfaces § Расширение сети внутрь сервера § Использует пре-стандартную IEEE 802.1BR* реализацию IEEE 802.1BR Legacy Adapter FEX *IEEE 802.1BR pre-standard
- 29. Эволюция технологии Fabric Extender Распределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройство Network Administrator IEEE 802.1BR* FEX VM-FEX § Консолидация физической и виртуальной сети § Каждая VM получает порт на IEEE 802.1BR* IEEE 802.1BR* распределённом коммутаторе § Использует пре-стандартную реализацию IEEE 802.1BR Hypervisor Legacy Adapter FEX VM-FEX *IEEE 802.1BR pre-standard
- 30. Эволюция технологии Fabric Extender Распределённый коммутатор до уровня стойки, интерфейсов сервера и VM Единое устройство • Порты коммутатора • Порты FEX • Виртуальные адаптеры Network Manager • Виртуальные машины IEEE 802.1BR* Fabric Extender Manage network all § Консолидация управления FEX the way to § FEX выглядит линейной картой the OS interface – головного коммутатора Physical and Virtual Adapter FEX IEEE 802.1BR* IEEE 802.1BR* § Консолидация многих интерфейсов в единое 10GE подключение § Расширение сети внутрь сервера VM-FEX Hypervisor § Консолидация физической и виртуальной сети § Каждая VM получает порт на Legacy Adapter FEX VM-FEX распределённом коммутаторе *IEEE 802.1BR pre-standard
- 31. Ключевые технологии Cisco для ЦОД • Консолидация транспорта – FCoE и DCB • Эволюция дизайна сети ЦОД – VPC – FEX – FabricPath/TRILL • Сетевая поддержка виртуализации – Nexus 1000V – VM-FEX/Adapter-FEX • Надёжная и производительная связь ЦОД – OTV – LISP
- 32. Связь центров обработки данных(DCI) Балансировщик Global Site Selector Балансировщик Web серверы Серверы приложений Кластеры, LD VMotion Хранение Репликация СХД
- 33. «Растягивание» LAN: внутри и между ЦОД Data Data Center Center A B § Ряд приложений требуют § Миграция серверов смежности на 2 уровне § Высокая доступность § Кластеры (Veritas, MSFT) § vMotion § Распределенные служебные и § «Доморощенные» приложения прикладные сервисы
- 34. Overlay Transport Virtualization Принципы работы протокола • Ethernet трафик инкапсулируется в IP: “MAC in IP” • Динамическая инкапсуляция с использованием таблицы маршрутизации MAC • Не строится Pseudo-Wire или туннель MAC1 à MAC2 IP A à IP B MAC1 à MAC2 MAC1 à MAC2 Encap Decap MAC IF OTV OTV MAC1 Eth1 MAC2 IP B IP A IP B MAC3 IP B Communication between Server 1 MAC1 (site 1) and MAC2 (site 2) Server 2 MAC 1 MAC 2
- 35. Проблемы «растягивания» LAN Решаемые OTV North Data • Работа поверх любого транспорта (IP, Fault Center Fault MPLS) Domain Domain • Изоляция доменов сбоев • Независимость сайтов • Оптимальное использование полосы • Встроенная отказоустойчивость • Встроенная защита от «петель» • Связь многих сайтов LAN Extension • Масштабируемость § VLANs, сайты, MACs § ARP, broadcasts/floods • Простота настройки Only 6 CLI • Легкость добавления сайтов commands Fault Fault Domain Domain South Data Center
- 36. Оптимальный путь В чём именно проблема? 10.1.1.0/25 & 10.1.1.128/25 advertised into L3 10.1.1.0/24 advertised into L3 DC A is the primary entry point Backup should main site go down Layer 3 Core Agg Agg Access Access Node A Virtual Machine Virtual Machine ESX ESX Data Center 1 VMware Data Center 2 vCenter
- 37. Оптимальный путь Хотелось бы так... Agg Agg Access Access Node A Virtual Machine ESX ESX Data Center 1 VMware Data Center 2 vCenter
- 38. Оптимизация пути «на выход» Локализация FHRP с помощью OTV • Одна и та же HSRP группа на всех сайтах с теме виртуальным MAC адресом • Каждый сайт обеспечивает исходящую маршрутизацию • OTV локализует исходящий трафик за счёт фильтрации HSRP hello сообщений между сайтами • ARP запросы перехватываются на OTV edge устройстве чтобть обеспечить ответы именно от локального шлюза Active Active GWY Site 1 GWY Site 2 L3 L2 FHRP FHRP ARP traffic is Hellos Hellos ARP traffic is kept local kept local West East
- 39. Оптимизация пути «на вход» Locator-ID Separation Protocol (LISP) • Отделяет идентификатор сервиса (IP адрес) от его местоположения • Маршрутизация исходя из местоположения, а не адреса хоста • Соотношение адреса и его местоположение хранятся в директории • Поиск метоположения IP адреса по информации из директории • Инкапсуляция трафика (IP in IP) и передача по месту нахождения хоста • Директория – распределенная база данных ALT directory § Информация о хостах не хранится в таблице маршрутизации § “Summarizable host routing” Resolution & Registration Data Path
- 40. Оптимальный транспорт с помощью LISP и OTV Client in LISP Site Client in non-LISP Site C1 C2 D E Layer3 Core MR PxTR MS A A’ B B’ OTV Server-to-Server L2 traffic VLAN A – 10.1.1.0 VLAN A – 10.1.1.0 FHRP: 10.1.1.1 ESX Server B ESX Server A FHRP: 10.1.1.1 - Virtual-Machine-A - Virtual-Machine-A - IP Address = 10.1.1.100 - IP Address = 10.1.1.100 - Mask: 255.255.255.0 - Mask: 255.255.255.0 - Default GW = 10.1.1.1 - Default GW = 10.1.1.1 LISP: L3 Client-to-Server OTV: L2 Server-to-Server • Оптимизация маршрутизации с детальной информацией • Оптимизация расширения LAN о местоположении • Распределение прикладных систем • Оптимицация мобильности внутри или между подсетями • Надежная связь на втором уровне для мобильности • Масштабирование прикладных сервисов виртуальных сервисов и кластерных систем
- 41. Спасибо! Просим Вас заполнить анкеты. Ваше мнение очень важно для нас!