1c bitrix-cluster-et
Download as PPTX, PDF1 like527 views
Документ описывает создание отказоустойчивого масштабируемого веб-кластера на базе Amazon Web Services для крупных интернет-магазинов, акцентируя внимание на повышении доступности, производительности и резервирования данных. Основные методы масштабирования и балансировки нагрузки подробно рассмотрены, включая вертикальное и горизонтальное масштабирование, различия в синхронизации данных и технологии, такие как memcached и MySQL. Также обсуждаются вопросы непрерывности сессий пользователей и использование географически распределенных веб-кластеров для обеспечения отказоустойчивости.
1c bitrix-cluster-et
- 1. Организация отказоустойчивого масштабируемого web-кластера на базе Amazon Web Services Александр Демидов «1С-Битрикс»
- 2. Сколько стоит 1 час? • Крупный интернет- магазин с годовым оборотом 1.5 млрд. руб. • 210 рабочих дней в году по 10 рабочих часов. • Час простоя крупного интернет-проекта может обойтись владельцам в 0,3 - 1 миллион рублей упущенной выручки.
- 3. Основные задачи, которые решает веб-кластер: Обеспечение высокой доступности сервиса (так называемые HA - High Availability или Failover кластеры) Масштабирование веб-проекта в условиях возрастающей нагрузки (HP - High Performance кластеры) Балансирование нагрузки, трафика, данных между несколькими серверами Создание целостной резервной копии данных для MySQL
- 4. Традиционная конфигурация Веб-приложение Кэш данных База данных
- 5. Варианты масштабирования: Разделение на два сервера: веб- сервер + база данных. Увеличение мощности оборудования (чем мощнее – тем дороже; рост стоимости не пропорционален). Выделение кеша на один внешний сервер через memcached. Переход на Oracle (минимальная лицензия +5000$ за процессор). Создание Oracle RAC (Real Application Cluster). Проект – около 150 000$ (оборудование + лицензия + «общая полка»). Очень мало специалистов. Для большинства клиентов производительности достаточно, но не решены проблемы отказоустойчивости, резервирования, сетевой доступности.
- 7. Аккаунты a-m База данных База данных MySQL 1 MySQL 1 База данных База данных MySQL MySQL База данных База данных MySQL 2 MySQL 2 Аккаунты n-z Вертикальный шардинг Горизонтальный шардинг
- 8. Масштабирование при росте нагрузки MySQL Веб-сервер Веб-приложение SQL-балансировщик База данных MySQL База данных MySQL База данных MySQL База данных MySQL MASTER SLAVE 1 SLAVE … SLAVE N
- 9. Распределенный кеш данных (memcached) Высокая эффективность - за счет централизованного использования кэша веб- memcached memcached memcached приложением 1 2 3 Надежность - за счет устойчивости подсистемы кешировния к выходу из строя Веб-кластер приложений отдельных компонентов Веб-сервер Веб-сервер Веб-сервер Неограниченная масштабируемость - за счет добавления новых memcached-серверов.
- 10. Задача: масштабирование при росте нагрузки Высокая посещаемость Балансировщик нагрузки Веб-сервер Веб-сервер Нода 1 Нода 2 Авто-синхронизация База данных MySQL 1) Нагрузка равномерно распределяется между нодами веб-кластера 2) Сервера приложений не перегружены и работают в устойчивом штатном режиме
- 11. Задача: масштабирование при росте нагрузки Очень высокая посещаемость Балансировщик нагрузки Нода 1 Нода 2 Нода N … База данных MySQL
- 12. Распределение нагрузки между веб- серверами Варианты балансирования нагрузки между различными нодами веб-кластера: • DNS – несколько записей “IN A” для одного имени, распределение round robin. Самый дешевый и простой вариант, но имеет ряд минусов: • нет четкого критерия выбора IP из списка клиентом; • нет механизмов определения доступности узлов; • длительное время кэширования ответов DNS. • Программные средства (например, nginx). • Аппаратные решения (например, Cisco CSS - Content Services Switch). • Специализированные сервисы (например, Amazon Elastic Load Balancing).
- 13. Задача синхронизации файлов Веб-сервер 1 Веб-сервер 2 ? /var/www
- 14. Синхронизация дисковых систем Два типа: 1. Синхронный: • Общая «дисковая полка» (дорого, не резервирует данные) • Сетевые средства – NFS (очень медленно) • OCFS2 • DRBD 2. Асинхронный (синхронизация локальных дисков) • rsync • csync2
- 15. Тип 1: общее хранилище данных NAS (Network Attached Storage) /var/www NFS, SMB/CIFS, …. Просто, но медленно. Веб-сервер 1 Веб-сервер 2 SAN (Storage Area Network), «дисковая OCFS2, GFS2, …. полка» Быстро, но /var/www сложно и дорого.
- 16. Тип 2: синхронизация локальных дисков Нода 1 Нода 2 Csync2 Csync2 /var/www /var/www Нода 3 Csync2 /var/www
- 17. Почему мы выбрали csync2? Быстрый доступ к файлам приложения за счет использования локальных хранилищ. Высокая скорость работы. Низкое потребление ресурсов (CPU, дисковые операции). Два этих фактора позволяют запускать процесс синхронизации максимально часто, поэтому данные на серверах становятся идентичными практически в "реальном времени". Простота настройки для обмена данными между любым количеством серверов. Возможность синхронизации удаления файлов. Защищенный обмен данными между хостами (SSL).
- 18. Непрерывность сессий между веб- серверами Пользовательская сессия должна быть "прозрачной" для всех серверов веб-кластера. После авторизации на одном из серверов пользователь должен считаться авторизованных и для всех других серверов. И наоборот - окончание сессии на любом сервере должно означать ее окончание на всех серверах сразу.
- 19. «1С-Битрикс: Веб-кластер» - это комбинация технологий: • Вертикальный шардинг (вынесение модулей на отдельные серверы MySQL) • Репликация MySQL и балансирование нагрузки между серверами • Распределенный кеш данных (memcached) • Непрерывность сессий между веб-серверами (хранение сессий в базе данных) • Кластеризация веб-сервера: – Синхронизация файлов – Балансирование нагрузки между серверами
- 20. Тестовый веб-кластер – в «облаке» Amazon
- 21. Балансировщик (клиентские запросы по HTTP) Веб-сервер 1 Веб-сервер 2 MySQL MySQL memcached 1 memcached 1 master slave
- 22. «Узкие» места
- 23. Задача синхронизации файлов Веб-сервер 1 Веб-сервер 2 ? /var/www
- 24. Высокие требования к сети, связность серверов друг с другом Веб-сервер «1С-Битрикс: Веб-кластер» SQL-балансировщик 1С-Битрикс База данных MySQL База данных MySQL База данных MySQL База данных MySQL MASTER SLAVE 1 SLAVE … SLAVE N
- 25. Ручные операции для восстановления master’а MySQL Балансировщик (клиентские запросы по HTTP) Веб-сервер 1 Веб-сервер 2 MySQL MySQL memcached 1 memcached 1 master slave
- 27. Аварии на уровне целого датацентра Балансировщик (клиентские запросы по HTTP) Веб-сервер 1 Веб-сервер 2 MySQL MySQL memcached 1 memcached 1 master slave
- 28. Географический веб-кластер Асинхронная master-master репликация «Веб-кластер», для обеспечения работы географически «Веб-кластер», ДЦ в России распределенных веб-кластеров. ДЦ в США Потеря связи между ДЦ может Веб-нода составлять часы. Веб-нода Веб-нода Веб-нода Веб-нода Веб-нода Кэш Кэш Кэш Кэш Кэш Кэш «Веб-кластер», БД ДЦ в Германии БД БД БД БД БД Веб-нода Веб-нода Веб-нода Кэш Кэш Кэш БД БД БД
- 29. Схема многорегионального сервиса HTTP/HTTPS HTTP/HTTPS HTTP/HTTPS *.com *.com *.ru *.ru балансировщик балансировщик Облачное … … cache cache cache хранилище cache cache cache Web 1 Web 2 Web N Web 1 Web 2 Web N MySQL MySQL master master master-master репликация MySQL MySQL slave slave management, monitoring
- 30. Любой новый или работающий проект на «1С-Битрикс: Управление сайтом» может быть представлен как веб-кластер взаимозаменяемых серверов. При увеличении посещаемости можно быстро добавить в кластер новые сервера. В случае выхода из строя одного из серверов кластера система продолжает беспрерывно обслуживать Клиентов. Балансирование нагрузки, трафика, данных между несколькими серверами. Система позволяет снимать резервные копии со специально выделенных узлов кластера, не влияя на работу сайта.
- 31. Географический веб-кластер повышает отказоустойчивость проекта и обеспечивает независимость от дата-центра. В различных дата-центрах объединяются несколько групп веб-кластеров, находящихся в разных городах или странах. В случае отказа одного дата- центра, в работу мгновенно включается другой, без необходимости восстановления «бэкапа».
- 32. Спасибо за внимание! Вопросы? Александр Демидов demidov@1c-bitrix.ru +7 (915) 201-1500 @demidov http://www.1c-bitrix.ru