13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Архитектура проекта на 30М
пользователей

Интересно? Заходи на http://job.fotostrana.ru 1 из 50

Фотострана?
Не, не слышал.


— 35 000 000 зарегистрированных пользователей
— 1 500 000 уникальных посетителей в день.
— Больше 150 человек в команде
— Входим в ТОП-20 сайтов рунета


О чем расскажу?
• Общая архитектура и платформа
• Используемые технологии
• Обработка запросов
• Отдача статики
• Хранение данных
• Мониторинг


Общие цифры
• Один дата-центр
• Более 200 физических серверов
• В пике суммарный трафик больше 3 Гбит/c
• 70 Мб PHP кода
• 3 Гб статики


Разработка
• PHP, в основе лежал Zend Framework
• C(++) демоны и модули для PHP
• SVN (есть проблемы, хотим Git)
• Google Docs
• Redmine
• Fisheye
• Asana


Платформа
• FreeBSD (местами Debian Linux)
• nginx
• Apache + mod_php + APC
• Memcached
• Percona server
• Собственные демоны


Железо
• Средний сервер: 2 Xeon 16Gb RAM
• Сеть на Juniper
• 300 Гб кластер memcached
• 650 Гб базы данных MySQL
• 750 Гб данных в памяти демонов
• 50 Тб для хранения фотографий
• SSD где необходимо
• Сервера узкоспециализированные


Релизы
• Деплой раз в час (~30 секунд на 130
серверов)
• Есть QA отдел, но фактически тестирования
практически нет
• Новый функционал выкатываем на часть
пользователей
• PHP ошибки приходят в skype их автору 


Мониторинг
• Nagios + Cacti
• Самописные модули мониторинга
• Самописная система профилирования кода
и запросов
• Много смс уведомлений
• Бизнес статистика/аналитика для
менеджеров сервисов


Резервное копирование
• БД 3 раза в день
• Демоны каждые 2 часа
• Пользовательские фотографии раз в сутки


Обработка запросов


Питомцы, профили, поиск…

Нет разбиения на группы


Питомцы Профили Поиск

Есть разбиение на группы


• 130 PHP серверов
• 2.500 req/s
• Среднее время
ответа 0.06 сек


Управление серверами


Отдача статики
• Наша статика (css, js, swf, jpg…) из svn

• Пользовательский контент (аватарки,
фотки, превьюшки) – “Фотосхема”


Содержимое статики:

}
• 800 css
• 750 js
3 Гигабайта
• 3200 swf
• 48000 image

• 5000 req/s
• >1 Гбит/сек трафика в пике

Сервер определяется
на стороне PHP кода
по IP клиента


Интересное
• Контроль версий статический файлов
• Пробовали привязывать пользователей по
географическому признаку
• Lazyloader для динамической подгрузки js и
css
• 5 виртуальных субдоменов на каждый
сервер


Фотосхема
• 14 Тб - объем пользовательских фотографий
• +60 Гб (или 250.000) фотографий в сутки
• 4000 req/s
• >850 Мбит/сек трафика в пике


Фотосхема


• Проблема холодного старта
• Файлы реально удаляются с диска


Хранение данных
• MySQL
• Memcached
• Lemon – самописное key-value хранилище
• Демоны на C++


MySQL

• 14 серверов
• 100.000 / мин SELECT
• 40.000 / мин UPDATE

картинка про alter таблички на 30кк записей (15Гбайт)


• Можем на живую менять схему БД
• Используем pconnect
• Не используем транзакции
• Не используем JOIN и вторичные ключи
• Нет шардинга
• Особое внимание индексам и адекватности
запросов


Управление репликами


Memcached

• 5 серверов
• 300 Гбайт RAM
• 32.000 req/s


• Это не хранилище данных!
• 90% данных – кэш выборок из базы как есть
• Использовали ketama, отказались
• Рестарт сервера раз в несколько месяцев
• Локи на memcached::add


Подходим к NoSQL
MySQL плохо делает 3 вещи:

• Удаление большого количества данных

• Очень частые изменения данных

• Частые выборки


Решение – NoSQL.

 Lemon
Lemon:
• Простое key-value хранилище
• Все данные в памяти
• Периодический дамп данных на диск
• key = (string namespace, int64 key)
• Шардинг как запуск нескольких независимых
инстансов, namespace привязан к серверу.


Время обработки запроса


Демоны
Что сделали:
• Модуль PHP для взаимодействия с демонами
• Разработали протокол взаимодействия
• Своя бинарная сериализация данных

Всего разных демонов больше 30:
• Гости, контакты, мессенджер, питомцы, поиск,
встречи, голосвание, нотификации…


Пример: демон гостей
<?
$guests->call(‘add_guest’, array(
$toUserId,
$guestId,
$source,
));
$list = $guests->call(‘get_guest_list’, array(
$forUserId,
$limit,
$offset,
)); // $list = array(array(guestId, time, source), …)


HTTP демоны-серверы

/user/123 /chat/?userId=123


HTTP демоны
• Быстрее PHP, в 10 раз!
• > 50% запросов на балансер попадают к
демонам
• Всего 7 серверов


Мониторинг
• Профилирование PHP кода, запросов в БД,
memcache и других источников данных
• Единая система бизнес статистики для
менеджеров сервисов


Профилирование - CStat
• Модуль для PHP
• Все данные в разделяемой памяти
• Сбор данных со всех серверов (по крону) и сохранение в БД
• Похожа на pinba и XHprof

Пример:
<?
CStatStartUrl($requestUrl);
// some code
CStatStopUrl($isError);

CStatStartDB($mode, $dbName, $_method, $table);
// execute mysql_query
CStatStopDB($isError, $rowCount);


Статистика по URL


Кол-во запросов по URL


Профайлер для разработчика


Статистика
• Реализована на очередях в разделяемой памяти (на каждом PHP
сервере)
• Сбор данных из очереди со всех серверов (по крону) и их обработка
• Минимальное влияние на производительность скрипта
• История значений хранится в базе в нескольких таблицах, где они
сгруппированы по периоду (час, день, месяц).
• Есть возможность считать уников (например кол-во уникальных
пользователей загрузивших сегодня фотографии)

С точки зрения разработчика:
<?
Statistics::increment($statsType, $userId, $field, $value);

// Statistics::increment(MAIN_STATS, 2407325, ‘photos_upload_count’, 18);


SharedQueue сервер
Реализация очереди сообщений в оперативной памяти.

• Демон на скриптовом сервере
• Модуль для PHP
• На данный момент 200 очередей

Методы
<?
$result = SharedQueue::push($queueIndex, $data);

$allData = SharedQueue::popAll($queueIndex, $serverList);


Интерфейс статистики


Подводя итоги
• Нет преждевременной оптимизации
• Нет трендам, да цифрам
• Не бойтесь экспериментировать
• Проверяйте все сами
• Включайте мозг 


Спасибо за внимание!

Вопросы


13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

More Related Content

What's hot (19)

Viewers also liked (15)

Similar to 13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана) (20)

More from IT-Portfolio (7)

13 октября, DEV {web} - конференция о Highload веб-разработке. "Архитектура проекта на 30 млн. пользователей", Дмитрий Смирнов (Фотострана)

Editor's Notes