SlideShare a Scribd company logo
Kubasov
Типичная схема проекта на одном сервере
Разносим базу на master-slave
Схема разноса базы данных по функционалу
Шардинг

1) По диапазонам
     (#1: 1 – 99999, #2: 100000 – 199999, #3: 200000 – 299999, etc )
2) По остатку от деления на кол-во шардов
     (n = ID % 9, для 10 шардов от 0 до 9)
3) С диспетчеризацией
     (n = getPath(Dispatcher))
4) С маршрутизацией
     (query -> Proxy -> N shard)
5) Сумбур
Точки отказа
Решардниг
Балансировка нагрузки
Время поиска пути/Время обхода
Пример обхода
Kubasov
Инвалидация/актуализация кеша

- кешировать на N минут
- каждые N минут удалять произвольные куски
- binlog player
Kubasov
Если что-то пошло не так…




                   read(6, …
Pinger
Kubasov
Балансировка
1)   DNS Round Robin
2)   L2 балансировка
3)   L3 балансировка (DNAT)
4)   Проксирование
5)   HTTP Редирект
6)   IPVS
Нагрузка
Держите ваши подсистемы загруженными не более, чем на
                        80%
 1)   Разнос данных
 2)   Всплески нагрузки
 3)   Dos
 4)   Падение производительности
CPU usage
Kubasov
С е р ге й К у ба с о в
З аместител ь техническ ого д ирек тора
       s.kubasov@corp.mail.ru

More Related Content

PDF
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
PPTX
Разработка real-time приложений с RethinkDB / Илья Вербицкий (Независимый кон...
PDF
Оптимизация программ для современных процессоров и Linux, Александр Крижановс...
PDF
Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...
PDF
SphinxSearch Meetup - Tips&tricks
PPT
Доклад на РИТ: Высокие нагрузки (2008)
PPT
Доставка видеоконтента пользователям
PDF
AVITO. Решардинг Redis без даунтайма. DevConf 2012
Ускоряем и разгружаем веб-сервер, прозрачно кэшируя на SSD, Станислав Николов...
Разработка real-time приложений с RethinkDB / Илья Вербицкий (Независимый кон...
Оптимизация программ для современных процессоров и Linux, Александр Крижановс...
Что особенного в СУБД для данных в оперативной памяти / Константин Осипов (Ta...
SphinxSearch Meetup - Tips&tricks
Доклад на РИТ: Высокие нагрузки (2008)
Доставка видеоконтента пользователям
AVITO. Решардинг Redis без даунтайма. DevConf 2012

What's hot (20)

PDF
Разработка высокопроизводительных серверных приложений для Linux/Unix (Алекса...
PDF
Как считать и анализировать сотни гигабит трафика в секунду, Станислав Николо...
PPTX
Как мы храним и анализируем большой социальный граф, Максим Бартенев (Норси-т...
PPTX
Защита данных и датацентров от катастроф. Подход Nutanix / Максим Шапошников ...
PPTX
Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)
PDF
Реализация восстановления после аварий / Сергей Бурладян (Avito)
PDF
Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)
PDF
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
PPTX
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...
PDF
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
PDF
Загрузка больших объемов данных для бизнес-аналитики
PDF
Frontera обход испанского интернета
PDF
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
PDF
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
PPTX
Спасение 6 млн файлов в условиях полного хецнера (Даниил Подольский, Дмитрий ...
PDF
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
PDF
pgconf.ru 2015 avito postgresql
PDF
Дмитрий Новиков - Tarantool в Badoo
PPTX
Основные кейсы использования in-memory СУБД на примере Тарантула и проектов M...
PDF
Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)
Разработка высокопроизводительных серверных приложений для Linux/Unix (Алекса...
Как считать и анализировать сотни гигабит трафика в секунду, Станислав Николо...
Как мы храним и анализируем большой социальный граф, Максим Бартенев (Норси-т...
Защита данных и датацентров от катастроф. Подход Nutanix / Максим Шапошников ...
Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)
С чего начать внедрение Hadoop в компании. Доклад Алексея Еремихина (Badoo).
Chronicle Map — key-value хранилище для трейдинга на Java / Левентов Роман (C...
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
Загрузка больших объемов данных для бизнес-аналитики
Frontera обход испанского интернета
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
Спасение 6 млн файлов в условиях полного хецнера (Даниил Подольский, Дмитрий ...
Реалтайм статистика скорости работы нативных и веб-приложений у реальных поль...
pgconf.ru 2015 avito postgresql
Дмитрий Новиков - Tarantool в Badoo
Основные кейсы использования in-memory СУБД на примере Тарантула и проектов M...
Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)
Ad

Viewers also liked (20)

PDF
Osipov
PDF
Chudov
PDF
Kubasov 1 7_deploy
PDF
Tarantool_qs
PDF
Константин Осипов
PPTX
Типичные проблемы с массовыми рассылками и как их избежать
PDF
Zacepin
PDF
Balashov
PDF
Rabovoluk
PDF
Perepelitsa
PDF
Smirnov reverse-engineering-techforum
PDF
Zamyakin
PDF
Bubnov
PDF
Platov
PDF
Panfilov
PDF
Romanenko
PDF
Haritonov
PDF
Kalugin balashov
PDF
Smirnov dependency-injection-techforum(1)
PDF
A.pleshkov
Osipov
Chudov
Kubasov 1 7_deploy
Tarantool_qs
Константин Осипов
Типичные проблемы с массовыми рассылками и как их избежать
Zacepin
Balashov
Rabovoluk
Perepelitsa
Smirnov reverse-engineering-techforum
Zamyakin
Bubnov
Platov
Panfilov
Romanenko
Haritonov
Kalugin balashov
Smirnov dependency-injection-techforum(1)
A.pleshkov
Ad

Similar to Kubasov (20)

PDF
Семинар 5. Многопоточное программирование на OpenMP (часть 5)
PDF
Кулагин И.И., Пазников А.А., Курносов М.Г. Оптимизация информационных обменов...
PPTX
Developing highload servers with Java
PPTX
Hosting for forbes.ru_
PDF
Современная операционная система: что надо знать разработчику / Александр Кри...
PDF
Опыт использования Spark, Основано на реальных событиях
PDF
Архитектура и программирование потоковых многоядерных процессоров для научных...
PPTX
GRANIT — Global Russian Advanced Network Initiative
PPT
Efficiency vvv
PDF
Практика использования NoSQL в высоконагруженном проекте (Дмитрий Ананьев)
PPTX
Опыт внедрения и использования распределенной системы хранения данных на осно...
PDF
Марина Широчкина: Верстка. Вид снизу
PDF
Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...
PPT
Introduction to MongoDB
PDF
как написать масштабируемую баннерокрутилку. денис бирюков, артем гавриченков...
PDF
12 вариантов использования Redis — в Tarantool (Александр Календарев, Констан...
PPTX
CUDA Best Practices (2-3)
PDF
Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и ...
PPTX
Тестируем производительность распределённых систем, Александр Киров (Parallels)
PDF
TMPA-2013 Sartakov: Genode
Семинар 5. Многопоточное программирование на OpenMP (часть 5)
Кулагин И.И., Пазников А.А., Курносов М.Г. Оптимизация информационных обменов...
Developing highload servers with Java
Hosting for forbes.ru_
Современная операционная система: что надо знать разработчику / Александр Кри...
Опыт использования Spark, Основано на реальных событиях
Архитектура и программирование потоковых многоядерных процессоров для научных...
GRANIT — Global Russian Advanced Network Initiative
Efficiency vvv
Практика использования NoSQL в высоконагруженном проекте (Дмитрий Ананьев)
Опыт внедрения и использования распределенной системы хранения данных на осно...
Марина Широчкина: Верстка. Вид снизу
Горизонтальное масштабирование: что, зачем, когда и как /Александр Макаров (Y...
Introduction to MongoDB
как написать масштабируемую баннерокрутилку. денис бирюков, артем гавриченков...
12 вариантов использования Redis — в Tarantool (Александр Календарев, Констан...
CUDA Best Practices (2-3)
Виртуализация сетевой инфраструктуры на примере использования IOS-XRv 9000 и ...
Тестируем производительность распределённых систем, Александр Киров (Parallels)
TMPA-2013 Sartakov: Genode

More from kuchinskaya (14)

PDF
Kharkov
PDF
Zagursky
PDF
Zenovich
PPTX
владимир габриелян
PPTX
чашкин иван
PPTX
сумин андрей
PPTX
митасов роман
PPTX
кренин владимир
PPTX
константин лебедев
PPTX
дыдыкин егор
PPT
ярослав рабоволюк
PPTX
сергей спиридонов
PPTX
игорь ермаков
PPTX
дмитрий юдин3
Kharkov
Zagursky
Zenovich
владимир габриелян
чашкин иван
сумин андрей
митасов роман
кренин владимир
константин лебедев
дыдыкин егор
ярослав рабоволюк
сергей спиридонов
игорь ермаков
дмитрий юдин3

Kubasov