Масштабируемая система голосования на базе PostgreSQL. PGQ (Сергей Нековаль)
Download as PPT, PDF1 like3,350 views
Доклад описывает систему голосования, использующую PostgreSQL и PGQ, которая позволяет пользователям загружать и просматривать видео-контент. Обсуждаются преимущества PGQ, такие как транзакционность, асинхронность и простота мониторинга, а также возможности обновления статистики и рейтингов. Также отмечаются существующие проблемы, такие как перегрузка базы данных и ограничения в управлении очередями.
![Вопросы? [email_address]](https://image.slidesharecdn.com/postgresqlpgq-111030152416-phpapp02/85/PostgreSQL-PGQ-30-320.jpg)
Масштабируемая система голосования на базе PostgreSQL. PGQ (Сергей Нековаль)
- 1. Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант»
- 2. План доклада Обзор PgQ Как мы используем PgQ Pros & Cons
- 3. Вступление Сервис позволяет пользователям бесплатно загружать и просматривать видео-контент (японский аналог YouTube) : Основной источник дохода – реклама. Число показов в сутки – более 20 млн. , 5 ТБ трафика Число зарегистрированных пользователей – более 150 тыс.
- 4. Что нужно? Голосуем за видео Обновление статистики голосов и показов Обновление рейтингов Запись истории голосов/показов
- 5. События Просмотр 8-9 млн. в сутки Голосование 25-30 тыс. в сутки Добавление в избранное 5 тыс. в сутки
- 8. В наличии на 2008 год: Суммирование голосов с помощью файлов Рейтинги обсчитываются раз в день БД перегружена, статистика запаздывает
- 10. Что делать?
- 12. Skytools Разработка компании Skype Open Source Репликация: Londiste Очереди: PGQ
- 13. PgQ to the rescue Предоставляет API для работы с очередью Хранит данные в “event tables” Можно передавать любые данные в событии Ориентирован на обработку множества событий ( batch)
- 14. Компоненты PgQ
- 15. Ticker Ротация таблиц Формирование batches Контроль доставки batches Обработка retry- событий
- 16. Consumer API для SQL, Python, PHP, Java Обрабатывает не события, а пачки Producer SELECT pgq.insert_event(queue, type, data, …)
- 17. В чем польза PgQ Транзакционность (ничего не пропадает) Асинхронность (регулируется нагрузка) Consumer логически отделен от БД Простота мониторинга (все в БД)
- 18. Голосование с помощью PGQ
- 19. Новый вариант
- 20. Сохраняем структуру БД Front-End (PHP) становится producer- ом На каждый чих в очередь заносится событие Memcache: статистика + рейтинги
- 22. Тюнинг очередей ticker_max_lag (время) ticket_max_count (число)
- 24. max_lag = 30 мин. max_count = 150 000 max_lag = 3 мин. max_count = 5 000
- 25. Disk I/O
- 26. Производительность Vacuum fsync = off Asynchronous commit SET LOCAL synchronous_commit TO OFF; SELECT pgq.insert_event(‘COUNTER’, ‘V’, ‘movie_id=77958023’); COMMIT;
- 27. Асинхронность Где подвох? Результат часто нужен немедленно
- 28. Куда расти? Отделение исторических таблиц Несколько БД с очередями Skytools 3 cooperative consumers Предварительное суммирование
- 29. Pitfalls Нельзя узнать длину очереди! Нельзя очистить очередь! Текстовый формат событий Документация аскетична http://wiki.postgresql.org/wiki/Skytools
- 31. Бонусный слайд Consumer: lag , last_seen
Editor's Notes
- #25: Не воспринимать как универсальный рецепт!