Как мы сделали ровную балансировку нагрузки на фронтенд-кластере / Насретдинов Юрий (Badoo)
0 likes2,177 views
Документ описывает архитектуру и алгоритмы балансировки нагрузки в системе Badoo, включая различные методы, такие как ручная и автоматическая балансировка весов. Основное внимание уделяется эффективности распределения нагрузки для улучшения пользовательского опыта и оптимизации использования серверов. В заключение, выводы показывают, что динамическое выставление весов является более эффективным, чем статические, что позволяет сократить ручной труд администраторов.
Как мы сделали ровную балансировку нагрузки на фронтенд-кластере / Насретдинов Юрий (Badoo)
- 1. Четкая, Ровная балансировка нагрузки на фронтенд-кластере Юрий Насретдинов 1
- 2. О компании 2 5M загрузок фото в день 270M пользователей 70K RPS на PHP-FPM 3K серверов 400K регистраций в сутки 50 языков перевода
- 3. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 3
- 4. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 4
- 5. Архитектура Badoo 5 Local Traffic Manager ®™ Global Traffic Manager ®™ mobile backend web backend
- 6. Архитектура Badoo • GTM выбирает ДЦ • LTM передает мобильный трафик на nginx • Веб-трафик балансируется через LTM • Nginx проксирует запросы на мобильный кластер 6
- 7. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 7
- 8. Балансировка нагрузки • Балансировка — распределение нагрузки по набору серверов • Чем равномернее распределение, тем меньше нужно серверов и лучше User Experience 8
- 9. Алгоритмы балансировки • “Dumb” • Round-robin • Weighted round-robin • “Smart” 9
- 10. “Dumb” • Simple: proxy_pass server1 • Sticky: client_ip % cnt • Random 10
- 11. Round-robin • Каждый следующий запрос на следующий (живой) сервер • Равномерное распределение нагрузки в случае одинаковых запросов 11
- 12. Weighted Round-robin • Каждый сервер имеет свой «вес» • Чем больше вес, тем больший процент запросов сервер получит 12
- 13. “Smart” • Least Connections • Weighted Least Connections • Weighted RR with dynamic weights • Response time balancing 13
- 14. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 14
- 16. 16
- 17. Ручная балансировка • Подбор весов делался админами при добавлении новых машин • Разброс CPU usage 20-30% 17
- 18. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 18
- 19. Автоматический подбор весов • Статический: индекс производительности машины • Динамический: менять вес со временем, в зависимости от нагрузки 19
- 21. Статический вес • Производительность непостоянна • Особенно на виртуальных машинах • Нужно брать макс. производительность? 21
- 22. Динамический вес • Постепенное «уточнение весов» • new = old * coef • coef = (avg cpu) / (cur cpu) • Предполагаем линейную зависимость %CPU от веса • Отрицательная обратная связь 22
- 23. 23
- 24. 24
- 25. Проблемы • Как не перегрузить машину? • Что делать, если веса не применяются? • Как удалять машины? • Максимальный вес для LTM — 100, как быть? 25
- 26. Как не перегрузить машину • Ограничение на множитель • coef > 0.9 — не меньше -10% за раз • coef < 1.05 — не больше +5% за раз • weight >= 20 — вес целый, поэтому 5% должно быть не меньше 1 • Обновление веса раз в 15 минут 26
- 27. Нарушение обратной связи • Ограничения на: Вес на ядро (max:min=3:1) Общий вес (max=1000) Число ядер (max=500) 27
- 28. Как удалять машины • Машина не отвечает на heartbeat • На кластере достаточно CPU, чтобы обработать пик трафика без этой машины 28
- 29. План • Архитектура Badoo • Алгоритмы балансировки • «Ручная» балансировка • Автоматический подбор весов • Выводы, open-source 29
- 30. Выводы • Взвешенный round-robin работает • Статические веса плохо работают • Динамическое выставление весов дало разброс всего 2,5% • Админы избавлены от задачи ручного подбора весов • Большая экономия за счёт масштаба (до 50 серверов в Badoo) 30
- 31. Open-source 31 Балансировщик: https://github.com/badoo/balancer/ Остальные проекты: https://tech.badoo.com/open-source/