WebCamp:Back-end Developers Day. Петровский Анатолий "Как построить хайлоад и не сойти с ума"
0 likes475 views
Документ содержит рекомендации по построению масштабируемых систем хранения данных, акцентируя внимание на вертикальной и горизонтальной масштабируемости, а также на важности выбора технологий, таких как PostgreSQL. Обсуждаются аспекты оптимизации, включая индексацию, кеширование и денормализацию для повышения эффективности работы. В заключении представлены советы по распределению нагрузки и управлению процессами для предотвращения перегрузок и улучшения производительности системы.
WebCamp:Back-end Developers Day. Петровский Анатолий "Как построить хайлоад и не сойти с ума"
- 1. Как построить hiload и не сойти с ума Петровский Анатолий
- 2. • СТО ringostat.com • СТО iftheycall.com • Developer of New Products • Co-founder bezpeca.com • CTO bankua.net • Web developer Немного обо мне
- 4. hiload = СМО
- 5. Физический уровень Бизнес логика Хранение данных Стек современной системы массового обслуживания
- 6. Виды масштабируемости Вертикальное. Тупо покупаем железо пошире
- 7. Виды масштабируемости Горизонтальное. Тупо покупаем еще железа
- 8. Физический уровень Бизнес логика Хранение данных Стек современной системы массового обслуживания
- 9. Хранение данных • Репликация (легко) • Read/Write splitting (сложно) • Оптимизация (сложно)
- 10. Хранение данных Реликация и Read/Write splitting Master Slave Сохрани/измени Дай
- 12. Хранение данных Реликация Полезный совет: Отказывайтесь всюду от auto increment key юзайте UUID для записей. Это уменьшит вашу боль при включении master-master репликации
- 13. Хранение данных Сферическая система в вакууме Master cluster Slave cluster Сохрани/измени Дай
- 14. Хранение данных Реликация Полезный совет: Если планируете расти и размножатся, то лучше юзайте PostgreSQL с самого начала. В PostgreSQL всего один журнал запросов, репликация на физическом уровне и все работает железобетонно.
- 15. Хранение данных Вы никуда не денетесь от вертикальной масштабируемости
- 16. Хранение данных Оптимизация • Простые индексы • Составные индексы • Кеширование • а еще партицирование, шардинг и многое другое
- 17. Хранение данных Простые индексы user_names id name sex 1 Маша female 3 Антон male 2 Настя female 11 Глеб male
- 18. user_names id name sex 1 Маша female 3 Антон male 2 Настя female 11 Глеб male Хранение данных Простые индексы user_names_id_idx id link 1 4x4462A 11 4x2345F 2 4x4424A 3 4x326A0
- 19. Хранение данных Простые индексы пусть есть такая таблица:
- 22. Хранение данных Составные индексы Простой индекс Составной индекс
- 23. Хранение данных Кеширование Все SELECT запросы попадают в кеш по умолчанию
- 24. Хранение данных Кеширование Все SELECT запросы попадают в кеш по умолчанию ПЛОХО ХОРОШО
- 25. Хранение данных Оптимизация Полезный совет: Денормализируйте. Если где то можно обойтись без дополнительной таблицы - обходитесь. Лишний join - лишняя операция.
- 26. Физический уровень Бизнес логика Хранение данных Стек современной системы массового обслуживания
- 27. Бизнес логика • Расход памяти • Нерациональный i/o • Разделяй и властвуй • Расход ресурсов хранилища
- 28. Бизнес логика Память 1000 клиентов, которые запрашивают 1000 файлов, каждый из которых весит 1.5MB съедят 1.5GB оперативной памяти
- 29. Бизнес логика i/o Полезный совет: Везде где вы делаете запись или чтение с диска/из сети - делайте это асинхронно. Не блокируйте обработку такими тупыми операциями.
- 30. Бизнес логика Разделяй и властвуй Сбор и обработка статистикиСбор логов Фронтэнд
- 31. Бизнес логика Разделяй и властвуй Полезный совет: Разделяйте функциональные части системы в отдельные сервисы. Проще искать слабые системе и можно их отдельно друг от друга масштабировать
- 32. Бизнес логика Разделяй и властвуй Сбор и обработка статистикиСбор логов Фронтэнд
- 33. Бизнес логика Расход ресурсов хранилища
- 34. Бизнес логика Расход ресурсов хранилища
- 35. Физический уровень • Load average
- 37. Физический уровень • “Занятость” CPU • “Занятость” RAM • “Занятость” диска • и многое другое load average
- 38. Физический уровень Процессы и их переключение Одни процесс - это совокупность состояний регистров, сопроцессоров и адрес следующей операции (контекст). Для переключения между процессами, достаточно только выгрузить контекст одного процесса и загрузить контекст другого.
- 39. Физический уровень Процессы и их переключение
- 40. Заключение Как не сойти с ума? • Не забывайте умножать мелкие операции на количество потенциальных клиентов • Разделяйте и властвуйте • Реплицируйте • Денормализируйте • Любите друг друга • Больше отдыхайте
- 41. http://facebook.com/toxa.01 С вами был Петровский Анатолий. Full stack developer at Readdle Inc. Спасибо за внимание, вы хорошая публика ;)