13 октября, DEV {web} - конференция о Highload веб-разработке. "Грабли при масштабировании, на которые очень легко наступить", Евгений Коковихин

«Грабли» при масштабировании
веб-приложения

или «что происходит при росте с 1М до 80М хитов в сутки».
Евгений Коковихин, ведущий разработчик Wapstart.

Кто мы?

• Компания WapStart – владелец крупнейшей в России мобильной
рекламной сети Plus1 WapStart и каталога мобильных сайтов
Top WapStart.
• Компания оказывает услуги тысячам издателей мобильных
сайтов и приложений.
• Ежемесячная рекламная емкость WapStart - свыше 2 млрд.
показов, число уникальных посетителей - более 13 миллионов
в месяц.
• Компания WapStart владеет передовыми технологиями
таргетинга и анализа аудитории, позволяющими проводить
рекламные кампании с высокой рентабельностью инвестиций.
© Отдел маркетинга.

Эту картинку я нашел в интернете

Задачи, которые решает plus1.wapstart.ru
• Поиск подходящих баннеров для пользователя.
• Сортировка баннеров по релевантности и стоимости.
• Подсчет денег.
• Администрирование баннеров и рекламных площадок.
• Сбор и анализ статистики.

ПО, которое используются
в plus1.wapstart.ru

• PHP 5.3 (5.4) / php-fpm
• postgresql 9.2
• nginx
• memcache
• Freebsd (fronts)
• Debian (farms)

Конфигурация железа: было
Хорошо: мир
• Хорошо работает при
небольшой нагрузке;
• Все очень просто.

Плохо:
• Разные требования
к железу у разных
ролей;
• Сложно отлавливать
баги и искать узкие
места из-за влияния
других подсистем.

Конфигурация железа: стало
мир Хорошо:
• все еще просто;
• легко добавлять и
убирать железо;
• железо разделено по
ролям.

Проблемы: Плохо:
• сессии; • Вывод железа из
• картинки / продакшена
пользовательские файлы; в случае отказа
• sql запросы, не автоматизирован.
модифицирующие данные

Конфигурация железа: инстансы
мир

Статистика (1)
Хорошо: Плохо:
• выборки очень просты; • медленно;
• все понятно; • сложно удалять старые
сырые данные;
• сложно
масштабировать.

Проблемы:
• Однажды мы начали
писать быстрее, чем
смогли обрабатывать;
• Внешние ключи не
только полезны, но и
вредны.

Хорошо:
• выборки очень просты;
• все понятно;
Плохо:
• Временные таблицы надо чистить;

Хорошо:
• Аггрегация работает годно;

Плохо:
• Данные в дневные таблицы попадают
не одновременно с часовыми (переживем).

Биллинг: было
Утро: Вечер:

Рекламодатель Рекламодатель
100 рублей 50 рублей

Владелец сайта Владелец сайта





Биллинг: стало

Счет сумма Счет сумма
User 1 1 000 User 1 1 100

User 2 100 User 2 200

User 3 100 User 3 500

System 150 System 3 000

… … … …

… … … …

time Credit_bill_id Debet_bill_id Amount comment

… User_1 User_2 100 за клики

… … … … …

Проблема:
• Проводок слишком много.

Мониторим всё
1. Состояние логов
2. Аггрегация ошибок и отправка их почтой
3. Цветные графики
4. Особо критичные триггеры по sms.

Борьба за быстродействие:

• клиенты хотят получать баннер быстро;
• клиенты получают баннеры синхронно;
• аренда оборудования - это дорого.

Борьба за быстродействие: было
Плохо:
onPHP cache
(memcache) •Иногда ходим в базу;
•Используем родные объекты
onPHP – медленная сборка.
DB (Postgres)

Проблема:
•Однажды оно перестало
помещаться в кеш.

Борьба за быстродействие: как хотели.
get model_id=42&gateway_id=1&region_id=199
VALUE model_id=42&gateway_id=1&region_id=199 0 256
a:2:{i:0;O:11:"PlainBanner":13:
{s:15:"PlainBannerid";i:31;s:17:"PlainBannername";N;s:18:
"PlainBannertitle";N;s:20:"PlainBannercontent";N;s:30:"Pl
ainBannersingleLineContent";N;s:17:"PlainBannerlink";N;s:
20:"PlainBannerstateId";N;s:23:"PlainBannercampaignId";N;
s:19:"PlainBannertypeId";N;s:21:"PlainBannerpictures";a:0
:{}s:25:"PlainBannerfakePictures";a:0:
Мemcache {}s:17:"PlainBannerfake";b:0;s:32:"PlainBannershowOnlyWit
hGraphic";N;}i:1;O:11:"PlainBanner":13:
{s:15:"PlainBannerid";i:42;s:17:"PlainBannername";N;s:18:
"PlainBannertitle";N;s:20:"PlainBannercontent";N;s:30:"Pl
ainBannersingleLineContent";N;s:17:"PlainBannerlink";N;s:
20:"PlainBannerstateId";N;s:23:"PlainBannercampaignId";N;
s:19:"PlainBannertypeId";N;s:21:"PlainBannerpictures";a:0
:{}s:25:"PlainBannerfakePictures";a:0:
{}s:17:"PlainBannerfake";b:0;s:32:"PlainBannershowOnlyWit
hGraphic";N;}}
END

Не взлетело :(

как получилось
Вот так
работает!
Проблемы:
Мemcache •Разбиратель запроса все еще
может попасть в базу;
•Редкий траффик идет в базу
целиком;
•За преднаполненным кешем
надо следить.

проект “рыба”!
Обычная работа:
• Все хорошо, пока траффик
равномерный.
• Любой редкий траффик идет в
базу целиком и делает плохо.
• Много редкого траффика делает
очень плохо.
Пришла “Индия”:

проект “рыба”!

• Никогда не ходим в базу.
• Ключ нормализуется.
• Вместо базы может быть любой “наполнятор”.
• …, но иногда падает :(

Мониторинг (2)
и как мы раньше жили без pinba?
• Меряем именно то, что происходит на проде;
• Меряем все, что происходит на проде;
• Можем измерять бизнес-метрики;
• Красивые графики.

Резюме:
• Разработка – процесс итеративный.
• Ошибки бывают, не бойтесь ошибаться.
• Не надо думать на 3 года вперед, все равно все изменится.
• Мониторинг – наше всё.
• Сила в простых вещах. Когда все просто – это легко поддерживать
и модифицировать.

Wapstart:
• http://wapstart.ru/ https://plus1.wapstart.ru/
• Продажи: sales@co.wapstart.ru
• Разработка: dev@co.wapstart.ru
• github: https://github.com/Wapstart
• Habr: http://habrahabr.ru/company/wapstart/

Я:
• Mail/jabber: dovg@dovg.ru
• Github: https://github.com/dovg
• Habr: http://habrahabr.ru/users/dovg/
• Vk: http://vk.com/id2082364

Вопросы?

13 октября, DEV {web} - конференция о Highload веб-разработке. "Грабли при масштабировании, на которые очень легко наступить", Евгений Коковихин

More Related Content

What's hot (20)

Similar to 13 октября, DEV {web} - конференция о Highload веб-разработке. "Грабли при масштабировании, на которые очень легко наступить", Евгений Коковихин (20)

More from IT-Portfolio (11)

13 октября, DEV {web} - конференция о Highload веб-разработке. "Грабли при масштабировании, на которые очень легко наступить", Евгений Коковихин