High performance computing принципы проектирования сети
2 likes647 views
Документ описывает принципы проектирования сетей для высокопроизводительных вычислений (HPC), акцентируя внимание на требованиях к задержке, емкости и надежности систем. Обсуждаются методы уменьшения задержки и оптимизации сетевой инфраструктуры, включая выбор оборудования и топологии. Приводятся примеры и рекомендации для улучшения производительности сетей в контексте современного ЦОД.
High performance computing принципы проектирования сети
- 1. High Performance Computing Принципы проектирования сети extreme@muk.ua
- 3. High Performance Computing (HPC) High Performance Computing кластер состоит из набора соединенных между собой компьютерных систем, которые работают сообща, таким образом можно считать, что это единая система. 3
- 4. Требования к НРС Задержка Емкость Надежность • Системная задержка • Общая производительность системы для обработки трафика сейчас и в будущем • Отказоустойчивость системы для максимизации время работы • Примеры: • Примеры: • Примеры: o End-to-end задержка 10 GbE 2.3 микросекунд Порты 10/40/100 GbE без переподписки o Емкость коммутационной фабрики (в Tbps) для обработки трафика Большая пропускная способность на слот для будущего роста o Избыточные модули для управления, коммутац ии и питания Компоненты с горячей заменой Бесшовная отказоустойчивость и обновления ПО o 4 o o o
- 5. Вызов №1. Что такое задержка? • Задержка = P + N + S + I + AP - P = Время передачи – отправка битов по проводу N = Обработка пакета сетевым железом – коммутация, маршрутизация S = Время сериализации – отправка битов «в провод» I = Время обработки прерывания – прием пакета на сервере AP = Время обработки сообщения приложением • Обмен данными между двумя системами: - ЗАДЕРЖКА = AP1+I1+S1+N1+P+N2+S2+I2+AP2 • Категоризация задержки: - Расстояние: Р - Инфраструктура: I, N, S - Приложение: АР 5
- 6. Вызов №1. Как победить задержку? Анализ Сервер №2 Сервер №1 User space Программа AP1 Программа UDP пакеты отбрасываются здесь, когда память ограничена Программа Программа AP2 Kernel Context switch Socket buffer TCP/IP stack NIC buffers I1 Обмен данными между двумя системами: S1 S2 ЗАДЕРЖКА = AP1+I1+S1+N1+P+N2+S2+I2+AP2 N1 6 I2 P N2
- 7. Вызов №1. Как победить задержку? Классификация Сервер №2 Сервер №1 User space Программа AP1 Программа Программа Программа AP2 Kernel Context switch Socket buffer TCP/IP stack NIC buffers I1 S1 S2 РАССТОЯНИЕ N1 7 I2 P N2
- 8. Вызов №1. Как победить задержку? Методы • 1000 байт на скорости 1Гб/с - 1000км = 10.1мс 100км = 1.2мс 10км = 303μс 1км = 213μс 0км = 203μс • Задержка при отправке 500 байтового пакета. Добавляется каждым коммутатором. - 10Мб/с = 566μс 100Мб/с = 56μс 1Гб/с = 5.7μс 10Гб/с = 0.57μс - Правильный выбор провайдера оптической связи Выбор более скоростного интерфейса для быстрой сериализации Сократить кол-во уровней в сети для быстрой передачи (Растягивать L2, Уменьшать L3) Оптимальный выбор сетевого оборудования (cut-through коммутаторы) Создать план для обработки microbursts Управлять DROP и DISCARD, чтобы уменьшить JITTER • Общая лучшая практика 8
- 9. Вызов №1. Как победить задержку? Выбор пути. Значительные различия в задержках у различных операторов - Зависит от маршрута - Кол-во сетевых НОР - Наличие необходимой пропускной способности Технология, используемая операторами связи сильно отличается по показателям задержки, особенно во время пика трафика - DWDM предпочтительней MPLS Путь Расстояние Задержка Москва-Киев 850км 4,25мс Москва-Киев 999км 4,99мс 9 - Рассмотреть использование высокоскоростной WAN технологии, например растянутые VLAN
- 10. Вызов №1. Как победить задержку? Топология Топологические нюансы o Растянутый VLAN = WAN коммутация на уровне 2 ЦОД №3 o Создает единую сеть o Может использоваться для геокластеризации и удобства получения multicast трафика o Одни коммутаторы лучше других. Все зависит от качества исполнения Spanning Tree o Использовать traffic shaping на управления microbursts o Использовать одни и те же физические каналы для маршрутизируемых VLAN 10 ЦОД №1 ЦОД №2
- 11. Вызов №1. Как победить задержку? Железо Узел 1 40G 40G Шасси коммутатора Чип №1 10G 10G 10G Чип №2 10G 10G 10G Store & forward Узел 1 11 Узел 1 Узел 1 Cut-through
- 12. Вызов №1. Как победить задержку? Железо 12
- 13. Вызов №1. Как победить задержку? Железо Общая практика Не использовать гипервизор. Никогда Использовать ОС с лучшим TCP стеком – Linux/Solaris/Windows Использовать самые быстрые процессоры ОС заточены по умолчанию на пропускную. Перенастроить для минимализации задержки Перенастроить TCP/IP стек или обходить его – TCP offload / bypass Никогда не запускать Х сервер Выключить iptables, ip6tables, yumtables, sendmail, Bluetooth, cups, irda, atd, autofs, hidd, kudzu, smmbfs Диск I/O Тонировать файловую систему. XFS для больших файлов. EXT3 среднее арифметичное Можно смотреть в сторону OCFS32, HSF2, BTRFS LINUX runlevel По умолчанию установить RUN LEVEL 3 Тонировать QoS / Scheduling Тонировать сетевой стек Тонировать уровень приложений 13
- 14. Вызов №1. Как победить задержку? NIC Kernel TCP/IP User space TCP/IP Bypass TCP/IP 1G Linux 48μS RTT OpenOnLoad 10μS RTT OFED 2μS RTT 10G Linux 16μS RTT Общие правила для тонировки NIC o o Проанализируйте сетевой стек o Тонировать NIC драйвер o Тонировать TCP/IP стек o 14 Будьте избирательны в выборе NIC. Есть большая разница в характеристиках задержки и DROP, которые зависят от железа и драйвера. Обмен – уменьшая latency, Вы грузите CPU
- 15. Требования к НРС Задержка Емкость Надежность • Системная задержка • Общая производительность системы для обработки трафика сейчас и в будущем • Отказоустойчивость системы для максимизации время работы • Примеры: • Примеры: • Примеры: o End-to-end задержка 10 GbE 2.3 микросекунд Порты 10/40/100 GbE без переподписки o Емкость коммутационной фабрики (в Tbps) для обработки трафика Большая пропускная способность на слот для будущего роста o Избыточные модули для управления, коммутац ии и питания Компоненты с горячей заменой Бесшовная отказоустойчивость и обновления ПО o 15 o o o
- 16. Вызов №2. Емкость. Устарелая архитектура 16
- 17. Вызов №2 – Емкость. Современная архитектура 17
- 18. Требования к НРС Задержка Емкость Надежность • Системная задержка • Общая производительность системы для обработки трафика сейчас и в будущем • Отказоустойчивость системы для максимизации время работы • Примеры: • Примеры: • Примеры: o End-to-end задержка 10 GbE 2.3 микросекунд Порты 10/40/100 GbE без переподписки o Емкость коммутационной фабрики (в Tbps) для обработки трафика Большая пропускная способность на слот для будущего роста o Избыточные модули для управления, коммутац ии и питания Компоненты с горячей заменой Бесшовная отказоустойчивость и обновления ПО o 18 o o o
- 19. Вызов №3. Надежность. Аппаратная надежность. Возможность горячей замены любого из компонентов Питание o Отказоустойчивость по схеме N+1 или N+N Охлаждение o Отказоустойчивость по схеме N+1 или N+N Коммутация o Отказоустойчивость фабрик модулей по схеме N+1 Управление o 19 Отказоустойчивость управляющих модулей по схеме N+1
- 20. Вызов №3. Надежность. Топология ЦОД №2 EAPS G.8032 SW #1 SW #2 MLAG MLAG STACK Dual-homing 20 MLAG SW “A” 50% TCP SW “B” 50% TCP SW “C” SW “D”
- 21. Вызов №3. Надежность. Операционная система 21
- 22. Принципы на практике. Что есть на рынке 4x40G Ports 48x10G Ports Summit X670 Top-of-Rack 22 48x40G Ports 216x10G Ports 440x1G Ports fiber 768x1G Ports copper 32x100G Ports 192x40G Ports 768x10G Ports 384x1G Ports 32x40G Ports (104x10G Ports) BlackDiamond 8800 Summit X770 End-of-Row BlackDiamond X8 Top-of-Rack End-of-Row
- 23. Серия Summit X670 Summit® X670V-48x – 48 портов GbE/10 GbE – Один модуль расширения для VIM4-40G-4X: • 4 порта 40 GbE • 16 портов 10 GbE с разветвителями • 64 порта 10 GbE в коммутаторе • SummitStack™-V320 используя 4 порта 40 GbE – Стеккирование SummitStack-V используя два порта 10 GbE Summit X670-48x – 48 портов 1 GbE/10 GbE – Стеккирование SummitStack-V используя два порта 10 GbE ports 23 Двунаправленные блоки вентиляторов Блоки питания AC/DC с горячей заменой
- 24. Х670 Высокоскоростное стекирование – 320Гб/с Summit® X670V Summit X670V Summit X650 Summit X650 Summit X480 Summit X670V Summit X670 Summit X650 Summit X460/480 Summit X460/480 24
- 25. Серия Summit X770 32 Ports of QSFP+ 40GbE !!! Up to 104 ports 10GbE !!! 25
- 26. Summit X770-32q Switch Hardware USB Port Stack Member Number OOB Management Ethernet Console Port 2 x mini BNC connectors (75Ω) 1588 Output: 1PPS & 10MHz 26 32-port QSFP+ Ports of 40GbE 4+1 Fans Front-to-Back or Back-toFront (always ships with 5) Redundant AC/DC Power Supplies (always ships with 2 PSUs)
- 27. BlackDiamond 8800: Расширяемая архитектура Единственный производитель со всеми вариантами решений в одном шасси Ниже TCO: 8500-модули можно использовать в системах 8800/8900 Коммутац. комната Page 27 Агрегация/Ядро ЦОД © 2013 Extreme Networks, Inc. All rights reserved.
- 28. 1000 оптических портов на стойку? Да! 8500-series 8800 c-series system 8900-series (for small deployments) (for medium deployments) Today (for large deployments) 8500-MSM24* MSM48c* MSM48c 8900-MSM128* DC: 10G8Xc DC: 10G8Xc DC: 8900-10G24X-c Core: 10G4Xc Core: 10G4Xc DC: 8900-G96T-c Core: G48Xc Core: G48Xc DC/Core: 8900-10G8X-xl Access: 8500-G24X-e Core: G24Xc Core: G24Xc DC/Core: 8900-G48X-xl Access: 8500-G48T-e (POE FRU) Access: G48Tc (POE FRU) Access: G48Tc (POE FRU) DC/Core: 8900-G48T-xl Medium Small Large *Все управляющие модули поддерживают карты расширения GE or 10GE Защита инвестиций: Все карты совместимы между собой © 2013 Extreme Networks, Inc. All rights reserved.
- 29. BlackDiamond X8 Физические характеристики • • • • • • BlackDiamond® X8 19-inch rack size, 14.5RU, 30” depth 8 I/O slots – Horizontal 2 MM slots - Horizontal 4 Fabric slots – Rear Vertical 5 Fan trays – Rear Vertical 8 PSU slots 30” Производительность Скорость коммутации 20+ Tbps 1.28 Tbps на каждый слот 192 x 40 GbE или 768 x 10 GbE Надежность • • • • 29 14.5 RU • • • 3+1 модулей коммутации, 960 Gbps на слот в случае аварии одного fabric модуля (24 интерфейса 40 GbE неблокируемой коммутации) Два управляющий модуля 4+1 блоков вентиляторов Резервирование электропитания N+1 © 2013 Extreme Networks, Inc. All rights reserved. 17.25”
- 30. BlackDiamond X8 New 48-Port 100/1000/10000MbE RJ45 Module 48-Port 10GbE SFP+ Module 12-Port 40GbE QSFP+ Module New 12-Port 40GbE-XL QSFP+ Module 24-Port 40GbE QSFP+ Module New 4-Port 100GbE-XL CFP2 Module © 2013 Extreme Networks, Inc. All rights reserved.
- 31. BlackDiamond® X8 Шасси Front View 8 PSU Slots Dual Management Module Slots 8 I/O Module Slots (Horizontal) Rear View With Fan Trays Rear View 4 Fan Trays Removed 8 AC Power Input Sockets 5 Fan Tray Slots (Vertical) 31 4 Fabric Module Slots © 2013 Extreme Networks, Inc. All rights reserved.
- 32. Пример НРС для нефтяной компании o o o - 32 HPC cluster is based on three main components: Cluster servers with 10G NICs. Vendors – HP, IBM & DELL High performance storage with 10G & 40G. Vendors DDN & Panasas Networks switches with 10G & 40G. Vendors – Extreme Networks Requirements for platforms Storage must support both Infiniband for legacy connectivity and Ethernet Server platform Intel/Linux & 7200TB storage 10G/40G Ethernet Purpose of HPC Must support a connectivity of large storage subsystems To be used for seismic data processing
- 33. Пример. Топология Extreme Networks HP Cluster Servers DDN Storage Servers BLACK DIAMOND X8 10G 40G 228 ports 128 ports 10G 16 ports LAN 3rd party network vendor 33
- 34. Пример НРС для нефтяной компании • Почему Ethernet Компании запросили решение на Ethernet потому что: a. Ethernet может передавать 40G, но IB может 40G и 56G b. Ethernet дешевле и проще найти экспертов. Низкий CAPEX c. Ethernet дешевле в поддержке. Низкий OPEX d. У Ethernet есть 100G e. За Ethernet стоят тяжеловесные производители сетевого оборудования 34
- 35. Спасибо за внимание! У Вас есть вопросы? Паливода Александр opali@muk.ua 35