Дизайн небольшого ЦОД часть 2
1 like2,026 views
Документ предоставляет детальный дизайн и проектирование небольшого центров обработки данных (ЦОД), включая выбор платформы серверов и кластеров, их характеристики, сетевую архитектуру и требования к производительности. Описываются ключевые аспекты системы хранения, контроль доступа, резервирование, а также мониторинг и анализ производительности приложений. Основное внимание уделяется архитектуре сетевого уровня, подсистемам, программному обеспечению и аппаратным ресурсам, обеспечивая руководство по созданию эффективного и устойчивого ЦОД.
Дизайн небольшого ЦОД часть 2
- 1. Дизайн небольшого ЦОД часть 2 Игорь Гиркин системный инженер iggirkin@cisco.com Максим Хаванкин системный инженер mkhavank@cisco.com
- 2. Содержание • Постановка задачи • Дизайн ЦОД с использованием стоечных серверов • Заключение
- 4. Постановка задачи - 1 • Выбор и рекомендация платформы аппаратных серверов – 3 градации производительности, определенные Заказчиком совместно с партнерами/производителями ПО • Выбор и рекомендация платформы кластеров ESX – 2 продуктивных кластера • Дизайн сетевого уровня доступа ЦОД – выбор архитектуры • Дизайн подсистемы сетевых адаптеров аппаратных и виртуализированных серверов • Дизайн сетевой подсистемы виртуализированных серверов • Дизайн сети хранения данных • Контроль доступа к серверной ферме (часть сервисов) – Кластер А – до 1 Гбит/сек, 10K cps – Кластер В – до 1 Гбит/сек, 10K cps – Аппаратные сервера – до 2 Гбит/сек, 30K cps
- 5. Постановка задачи - 2 • Мониторинг и анализ производительности части приложений (не всех !) – Кластер А – до 200 Мбит/сек – Кластер B – до 150 Мбит/сек – Аппаратные сервера – до 1 Гбит/сек • Балансировка нагрузки – Кластер А – до 1 Гбит/сек – Аппаратные сервера – до 1 Гбит/сек • Восстановление данных в резервном ЦОД (РЦОД) – Recovery Point Objective (RPO) - допустимые потери данных – не более 1 часа – Recovery Time Objective (RTO) - время восстановления – не более 1 часа – Дизайн Резервного ЦОД (РЦОД) не производить
- 6. Дизайн ЦОД с использованием стоечных серверов
- 7. Основные шаги Идентификация и определение классов серверов Дизайн LAN (физический и вирутальный) и SAN Идентификация и определение характеристик системы хранения Определение характеристик сервисной подсистемы Определение характеристик выделенной подсистемы управления Физическое размещение оборудования
- 8. Идентификация и определение классов серверов Выделенные серверы для приложений А нужны ли выделенные аппаратные сервера для приложений сегодня? • Определение физических ресурсов сервера каждого класса – CPU – memory – etc. • Определение характеристик подключения к LAN и SAN сервера каждого класса – число интерфейсов – требования полосы пропускания – требования отказоустойчивости – тип адаптера • Определение количества серверов каждого класса
- 9. Пример конфигурации выделенных серверов для приложений Дизайн Компонента Количество С260 – 2RU 1 Количество - 4 VIC UCS P81E 2 Высокие требования к CPU Xeon E7-2800 2 производительности Компонента Количество С210 – 2RU 1 Количество - 6 VIC UCS P81E 1 Средние требования к CPU Xeon X5650 2 производительности Компонента Количество С200 – 1RU 1 Количество - 10 VIC UCS P81E 1 Низкие требования к CPU Xeon X5620 1 производительности
- 10. Пример конфигурации выделенных серверов для приложений – соображения по RAM и HDD Дизайн • RAM – ограниченное число профилей – могут потребоваться дополнительные инвестиции при миграции на гипервизор Размер Bank 0 Bank 1 128 ГБ 8 х 8 ГБ 8 х 8 ГБ 48 ГБ 6 х 4 ГБ 6 х 4 ГБ 24 ГБ 6 х 4 ГБ - • HDD – не рекомедуется использовать локальные HDD – SAN boot везде, где возможно: • более быстрое восстановление после сбоя • простота миграции на UCS B-серии
- 11. Кластеры vSphere – принципиальная схема vCenter vSphere Server Client Продуктивный Продуктивный Кластер A Кластер B Непродуктивнй VM VM VM VM VM кластер FC ESXi хост Tier 1 Tier 2 Storage Tier 3 Storage Storage
- 12. Кластеры vSphere - свойства • Продуктивный кластер – 8 хостов – результат сайзинга VMware – управление – cтоимость (capex, opex, upgrade) – DRS • Продуктивный кластер > 1 Кластер А – изоляция – классификация приложений • Tier 1 apps: высокие требования к ресурсам • Tier 2 apps: все остальные • Непродуктивнй кластер – тестирование VM Кластер В Кластер Тест – апгрейд ESXi – проверка работы нового функционала
- 13. Требования к аппаратной платформе гипервизора • 32 – 96 ГБ ОЗУ на 1 хост • Встроенное удаленное управление • Минимум 2 порта FC и 2 vSphere ESXi порта Ethernet • 4 ГБ ОЗУ на 1 vCPU • 2-4 vCPU на одно физическое ядро • Все сервера в кластере должны быть идентичны
- 14. Пример конфигурации сервера гипервизора Дизайн Компонента Количество С200 – 1RU 1 VIC UCS P81E 1 Количество - 24 CPU X5675 2 Vmware ESXi Размер Bank 0 Bank 1 96 ГБ 6 х 8 ГБ 6 х 8 ГБ • 3 кластера – Продуктивный A – Продуктивный В – Непродуктивный - Тест • HDD – локальные HDD не используются – SAN boot
- 15. Общее количество сконфигурированных серверов и профилей ОЗУ Дизайн Назначение Модель Количество Высокая нагрузка С260 4 Средняя нагрузка С210 6 Низкая нагрузка С200 10 Аппаратных серверов 20 ESX хосты С200 24 Всего серверов 44 Размер Bank 0 Bank 1 128 ГБ 8 х 8 ГБ 8 х 8 ГБ 96 ГБ 6 х 8 ГБ 6 х 8 ГБ 48 ГБ 6 х 4 ГБ 6 х 4 ГБ 24 ГБ 6 х 4 ГБ -
- 16. Дизайн LAN (физический) • Подключение серверов к уровню доступа серверов – Число и классы серверов, которые должны быть подключены – Число портов 10G • Требования приложений к полосе – Число портов 10G с поддержкой FCoE • Требования приложений к полосе – Число портов 1G – Высокая доступность • Подключение уровня доступа серверов к ядру сети – Переподписка 8:1 – Трансиверы – Поддержка медных коммутационных шнуров 10G SFP+ со стороны коммутаторов ядра
- 17. Общее количество сконфигурированных физических LAN-интерфейсов Дизайн Количество Количество 10G Назначение Модель Серверов интерфейсов Высокая нагрузка С260 4 4x2х2=16 (8:8) Средняя нагрузка С210 6 6x2=12 (6:6) Низкая нагрузка С200 10 10x2=20 (10:10) Аппаратных серверов 20 48 (24:24) ESX хосты С200 24 24x2=44 (24:24) Всего серверов 44 92 (46:46) • High Availability – C260 – по 2 порта к каждому устройству доступа – С210, С200 – по 1 порту к каждому устройству доступа
- 18. Дизайн LAN (физический) – схема организации связи Дизайн Дизайн ядра сети не (!) рассматриваем Si Si Nexus 5548UP L3 c L3 модулем L2 Nexus 2232 Подключение Подключение серверов со средней и серверов с высокой низкой нагрузкой, нагрузкой (8х10G), непродуктивный кластер продуктивный кластер ESX, продуктивый ESX с высокой нагрузкой кластер ESX (8x10G)
- 19. Дизайн LAN (физический) – количество портов Дизайн Количество портов на Nexus 5548UP Назначение Количество Подключение серверов 8+8=16 vPC 2 L3 peer 1 (2 рекомендуется) Подключение FEX 4 Ядро LAN 4 Всего портов 26 Количество портов на Nexus 2232 Назначение Количество Подключение FEX 4 Подключение серверов 32 Всего портов 36
- 20. Технологии Cisco UCS Adapter FEX и VM-FEX • Презентация NIC-ов для ОС и поддержка 802.1BR в сторону коммутатора – Режим A-FEX : поддержка до16 Eth vNIC и 2 FC vHBA – Режим VM-FEX : поддержка до 96 vNics • Функция Adapter Failover : в случае сбоя по основному пути передачи данных vNIC маппируется во второй (standby) порт прозрачно для ОС • Улучшенная безопасность и масштабирование: не нужно передавать все VLAN-ы в транке в сторону сервера
- 21. Матрица поддержки технологий A-FEX и VM-FEX A-FEX Адаптер Сервер ОС Функция Масштабирование Windows, Cisco UCS 16 vNIC + 2 vHBAs на адаптер, Cisco P81E VIC UCS C series Linux RH, vNic, vHBA 1K на пару N5500 ESX Windows, Максимум 8 Virtual Interfaces BCM57712 UCS C series До 8 vNICs, до 2 vHBA Broadcom CNA Third party* Linux RH, vNic, vHBA (vNICS + vHBA <=8), ESX 1K на пару N5500 VM-FEX Адаптер Сервер Гипервизор Функция Масштабирование Cisco UCS UCS C VMware vNic, 96 на адаптер Cisco P81E VIC series Vsphere migration 2K на пару N5500 * Depending on OEM qualification
- 22. Дизайн LAN (физический) – A-FEX Дизайн Число адаптеров на ОС Количество вирт. адаптеров, создаваемых на физических хостах Количество Функция Транк Сервер с высокой нагрузкой Пользователи продуктивный, приложения 5 нет сервисный, БД сервисный, hearbeat, monitoring Сервер со средней нагрузкой 2 Внутренний сервисный, внешний продуктивный нет Сервер с низкой нагрузкой 1 Продуктивный нет Всего на всех физических хостах: 5х4+2х6+1х10=42
- 23. Дизайн LAN (виртуальный) – A-FEX Дизайн VMware ESX- число виртуальных адаптеров VIC Количество виртуальных адаптеров, создаваемых на 1-ом ESX хосте Количество Функция Транк 2 Продуктивные интерфейсы гостевых ОС Да Management LAN VMware Management VMware Cluster Heartbeat 2 Да Cisco Nexus Management Cisco Nexus Control Cisco Nexus Packet 2 vMotion Нет 2 Fault Tolerance (если используется) Нет 1 VM – Troubleshooting Нет Всего на виртуальных продуктивных хостах: 9 х 16 = 144 • Физическая изоляция разных классов трафика
- 24. Дизайн Дизайн LAN (виртуальный) - схема организации связи VSM для кластера: А Nexus 1000V VSM Active Standby Nexus 1000V VSM VSM для кластера: B Nexus 1000V VSM Nexus 1000V VSM VSM для кластера: Тест Nexus 1000V VSM Nexus 1000V VSM Standby Active Nexus 1010 - A Nexus 1010 - B
- 25. Подключение Nexus 1010 Управление - 2 LoM интерфейса Дизайн Control, Packet – порты 3 и 4 Данные (в сторону NAM) – порты 5 и 6 Mgmt Control Packet Data Количество портов на Nexus 5548UP Назначение Количество Было занято до этого 26 шага дизайна Nexus 1010 - A 3 Nexus 1010 - B 3 Всего портов 32
- 26. Дизайн SAN, общие соображения - 1 • Плотность портов и топология – сколько портов сейчас и какое расширение планируется? – Multistage, core-edge, collapsed core • Высокая доступность – Отказоустойчивая фабрика – Port channel • Производительность – Переподписка 8:1 SAN • Управление трафиком – per-VSAN routing – QoS – Резервирование полосы • Подключение Backup-системы
- 27. Дизайн SAN, общие соображения - 2 • Виды приложений High IO – One-tier Throughput – Two-tier – Three-tier – N-Tier – Web – Stand-Alone Tier 1 Tier 2 Tier 3 • Multi tier – система хранения • Кластеры для балансировки нагрузки • Кластеры высокой доступности • Профиль трафика во времени • IOPS
- 28. Дизайн SAN – схема организации связи Дизайн FC Продуктивная СХД FC MDS 9148 - A MDS 9148 - B Непродуктивная СХД HBA-1 HBA-2
- 29. Дизайн SAN – подключение MDS - 1 Дизайн Подключение MDS 9148-A Назначение Количество Nexus 5548UP - 1 8 Система хранения – Service Processor A 4 Система хранения – Service Processor B 4 Система хранения (тест) 4 Всего портов 20 Количество портов на Nexus 5548UP Назначение Количество MDS 9148-B Было занято до этого 32 аналогичная шага дизайна таблица MDS 9148 8 подключений Всего портов 40
- 30. Дизайн SAN – Multipathing • Рекомендация - отказоустойчивая подсистема ввода/вывода • Обнаружение ошибок, динамическое переключение и восстановление • Режимы работы: active-active или active-passive • Прозрачно для приложений на сервере • Примеры: – EMC Power Path Cisco MDS – Microsoft MPIO Отказоустойчивая фабрика Сервер с FC multipath- драйвером Система хранения
- 31. Дизайн SAN – количество лицензий multipathing Дизайн Лицензий EMC Powerpath (хосты+CPU сокеты) Количество Количество CPU Назначение хостов сокетов Высокая нагрузка 4 8 Средняя нагрузка 6 12 Низкая нагрузка 10 10 ESX хосты 24 48 Всего 44 78 https://community.emc.com/thread/100453
- 32. Идентификация и определение характеристик системы хранения • Конфигурация и свойства системы хранения должны быть определены с участием партнера/производителя системы – EMC – протестированные конфигурации Vblock – NetApp – протестированные конфигурации FlexPOD – Больше шпинделей –> больше IOPS • VMware vStorage API for Array Integration (VAAI) – аппаратная акселерация операций с системой хранения • Продуктивная система хранения отдельно от тестовой • Многоуровневое хранение данных (SSD, FC, SATA) • Использование Best Practice от VMware – Configuring VMware vCenter Server to send alarms when virtual machines are running from snapshots KB 1018029 – Best practices for virtual machine snapshots in the VMware environment KB 1025279
- 33. Определение характеристик сервисной подсистемы Разграничение доступа Мониторинг трафика Балансировка нагрузки Оптимизация трафика в распределенной сети Data Center Interconnect
- 34. Разграничение доступа • Оценка производительности требуемых МСЭ, контексты – packet per seconds (PPS) – connections per seconds (CPS) • Режим встраивания в процесс передачи данных – transparent – routed • Режим высокой доступности – active-active – active-standby • Разработка и настройка политик безопасности • Рекомендации Cisco SAFE – Прозрачный режим (transparent) – Коммутация между VLAN в разных VDC (Nexus 7000)
- 35. Поддержка Etherchannel в ASA 8.4.1 vPC Active & Passive: определяется LACP peer link Mode On: Статичная конфигурация (без LACP) VLAN интерфейсы конфигурируются поверх интерфейса Port-Chanel vPC vPC Поддерживаются все модели ASA EC EC Интерфейсы порт-группы разделяют один MAC адрес Active Standby Hash algorithm - настраивается. По умолчаниюю - Source, Destination IP адреса
- 36. Дизайн Разграничение доступа - дизайн HA ASA-5585-X-1 ASA-5585-X-2 EC EC Nexus-5548UP-1 Nexus-5548UP-2 Количество портов на Nexus 5548UP Назначение Количество Было занято до этого 40 шага дизайна ASA-5585-X-1 1 ASA-5585-X-2 1 Всего портов 42
- 37. Мониторинг трафика • Определение списка приложений и сервисов для мониторинга • Оценка производительности – Мбит/сек • Режим сбора данных – SPAN/ERSPAN – NetFlow
- 38. Nexus 1000V NAM Virtual Service Blade • ПО NAM запускается на Nexus 1000V NAM устройстве Nexus 1010 Virtual Service Blade – защита инвестиций; – простота управления. • Решение для мониторинга и поиска неисправностей в окружении Nexus 1000V: • Анализ трафика и отчетность • Анализ времени отклика приложения • Статистика по интерфейсам до уровня виртуальной машины • Сосуществует с VSM Nexus 1010 Virtual Services Appliance
- 39. Дизайн Мониторинг трафика - дизайн NAM-VSB-1 NAM-VSB-2 Мониторинг Мониторинг Кластера А Кластера B Nexus-1010-A Nexus-1010-B До 2 Гбит/сек До 386 Мбит/сек NAM-2204 Предел производительности Мониторинг приложений VSB NAM 5.1 на длине пакета 512 байт на аппаратных серверах
- 40. Дизайн Мониторинг трафика – дизайн Количество портов на Nexus 5548UP Назначение Количество Было занято до этого 42 шага дизайна NAM-2204 1 Всего портов 43
- 41. Балансировка нагрузки • Оценка производительности – Гбит/сек – CPS (соединений в секунду) • Количество контекстов One Arm • Режим встраивания в процесс передачи Routed Mode – one arme mode – routed mode – bridged mode • Высокая доступность Bridged Mode • Правила балансировки • Мониторинг состояния приложений
- 42. Дизайн Балансировка нагрузки - дизайн ACE-4710-1 ACE-4710-2 EC EC Nexus-5548UP-1 Nexus-5548UP-2 Количество портов на Nexus 5548UP Назначение Количество Было занято 43 ACE-4710-1 1 До 4 Гбит/сек Предел производительности ACE-4710-2 1 Всего портов 45
- 43. Data Center Interconnect – приложения на аппаратных серверах • Существующие кластеры Microsoft MSCS, Solaris Sun Enterprise Core Cluster Enterprise, Oracle RAC IBM HCM Cluster VIP Растянутый • Режим Active-Standby VLAN • Следующие механизмы используются для Heartbeat 1 синхронизации кластера: Heartbeat 2 SAN A heartbeat, status & control Active Standby сообщения, сообщения дл Растянутый поддержки VIP SAN – L2 связность SAN B • Клиенты подключаются прозрачно к разделяемому VIP адресу
- 44. Data Center Interconnect Что делать, если у приложения нет встроеных средств организации высокой доступности? • Disaster avoidance – предотвращение сбоев – на уровне хоста – vMotion – на уровне дата-центра – inter-site (long distance) vMotion • Disaster recovery – восстановление после сбоев – На уровне хоста – VMware High Availability – На уровне дата-центра • VMware Site Recovery Manager • VMware High Availability • Определить критерии восстановления после сбоя – Recovery Point Objective (RPO) – Recovery Time Objective (RTO)
- 45. Использование VMware SRM ЦОД Достоинства решения: РЦОД • Асинхронная репликация • Низкие требования к каналам VMware • Компрессия траффика при VMware передаче (зависит от вендора решения по синхронизации СХД) SAN FC FC Система синхр. Система синхр. Недостатки решения: • Ручной рестарт виртуальных машин при сбое Система Система • Простой при восстановлении хранения хранения • Невозможность работы с одними и теми же данными с двух площадок одновременно
- 46. Использование VMware HA Достоинства решения: ЦОД РЦОД • Синхронная репликация или виртаулизированная распределенная СХД • Одновременный доступ к данным с VMware VMware любой площадки • Прозрачное перемещение приложений между площадками • Сохранение аботоспособности при сбоях FC FC • Отсутствие простоев при регламентных работах РАСПРЕДЕЛЕННЫЙ ВИРТУАЛЬНЫЙ ТОМ Система Недостатки решения: Система хранения • Высокие требования к каналам хранения
- 47. Дизайн Связь с РЦОД - дизайн • OTV на ASR1K – поддержка появится в ближайшее время • Асинхронная синхронизация двух систем хранения • Объединение 2-х СХД – рекомендации по количеству FC каналов для синхронизации формирует вендор системы СХД
- 48. Дизайн Подсистема управления • Количество Ethernet интерфейсов для OOB управления = 57 – 2 выделенных коммутатора 3560-48 • Выделенный кластер Vmware из 2-х серверов – vCenter – Система управления СХД • «Растянутый кластер» Vmware – vCenter Hearbeat
- 49. Физическое размещение оборудования (без СХД) Система Количество систем RU на систему RU всего Высокая нагрузка 4 2 8 Средняя нагрузка 6 2 12 Низкая нагрузка 10 1 10 ESX хосты 24 1 24 Nexus 5548UP 2 1 2 Nexus 2232 2 1 2 ASA 5585-X 2 2 4 Nexus 1010 2 1 2 ACE 4710 2 1 2 MDS 9148 2 1 2 NAM 2204 1 1 1 3560-48 2 1 2 Всего 71
- 50. Масштабируемость дизайна Система Всего ресурсов Занято % занятости Nexus 5548UP 48 портов 45 93% Nexus 2232 32 серверных порта 32 100% 8 uplink портов 4 50% ASA 5585-X SSP-20 125K cps 50K cps 40% 10 Гбит/сек 4 Гбит/сек 40% NAM VSB 386 Мбит/сек 350Мбит/сек 90% ACE 4710 4 Гбит/сек 2 Гбит/сек 50% MDS 9148 48 портов 20 портов 41% NAM 2204 2 Гбит/сек 1 Гбит/сек 50%
- 51. В заключении
- 52. С высоты птичьего полета Управление Менеджеры устройств Автоматизация Оркестрация Вычисления Hypervisor Стоечные серверы Блейд-шасси Cisco UCS Гипервизоры Сеть хранения Ресурсы хранения Ядро Дисковые массивы Конвергентные IP сети Доступ FC Сервисы сети Разграничение доступа Соединение Предотвращение вторжений площадок Балансировка нагрузки Сеть передачи данных Агрегация Физический доступ Виртуальный доступ
- 53. Не забывая про детали Виртуализированный FC HBA FC адаптер FC HBA FC vHBA NIC LAN vHBA vNIC NIC LAN vNIC NIC Mgmt vNIC NIC Backup vNIC vNIC NIC Cluster
- 54. Вооружившись знаниями • Cisco Smart Business Architecture for Mid-sized network • CVD
- 55. Полезные ссылки • Network Adapter Virtualization Design http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/ guide_c07-690080.html • Подключение ASA к VSS/vPC http://www.cisco.com/en/US/docs/security/asa/asa84/configuration/guide/ interface_start.html#wp1336269 • Cisco SAFE, Intranet Data Center http://www.cisco.com/en/US/docs/solutions/Enterprise/Security/SAFE_RG/ chap4.html#wp1053199 • Cisco Smart Business Architecture, Data Center SBA Guides for Midsize http://www.cisco.com/go/sba • VMware KB: Configuring VMware vCenter Server to send alarms http://kb.vmware.com/kb/1018029 • VMware KB: Best practices for virtual machine snapshots http://kb.vmware.com/kb/1025279
- 56. Спасибо! Просим Вас заполнить анкеты. Ваше мнение очень важно для нас!