Опыт использования NoSQL-хранилищ (Андрей Новиков)
Download as PPTX, PDF11 likes4,803 views
Документ описывает боевой опыт использования NoSQL-хранилищ, включая Couchbase и Redis, с акцентом на методы получения данных, создание индексов и оптимизацию запросов. Также рассматриваются преимущества и недостатки каждого хранилища, а также проблемы совместимости и производительности. Упомянуты также возможности и ограничения использования plug-in для работы с MySQL.
Опыт использования NoSQL-хранилищ (Андрей Новиков)
- 1. Боевой опыт использованияNoSqlхранилищ Новиков Андрей. Failsafe Payments
- 2. История одной статистики N графиков * N данным Получение данных ~ 30 секунд
- 3. Выбор методов • Эволюция • Революция
- 4. Эволюция • Создание индексов • Профилирование и оптимизация запросов • Подготовка части данных • Рефакторинг кода Получение данных ~ 20 секунд
- 5. Революция • CouchBase • Redis • Handler Socket
- 6. Redis • Данные в оперативной памяти • Хранение данных на диске • Типы данных: строки, числа, списки, хэши • Выборка множества ключей • Атомарность операций • Динамическое потребение памяти
- 7. Redis • Master / Slave репликация приведшая к потере хранилища
- 9. Couchbase • Master/Master репликация • Удобный веб интерфейс • Красивые графики нагрузки • Ограничение доступа
- 10. Couchbase • Объединение узлов через VPN приводит к потере данных • Для работы в режиме кластера каждый клиент должен видеть все узлы
- 11. Handler Socket Plugin • Все плюсы MySQL (репликации, работа с данными через ActiveRecord) • Отсуствие парсинга SQL запросов • Скорость работы
- 12. Handler Socket Plugin • Невозможность сборки под некоторые версии MySQL • Несовместимость пакетов в репозиториях Ubuntu • Проблемы при компиляции
- 13. Выводы • Redis – отлично подходит для проектов с простой сетевой архитектурой. • Couchbase – Хорошо подходит для создания кластера данных, но ограничен в плане работы с ключами. • Handler Socket – отлично подходит для существующего MySQLрешения
- 14. Спасибо за внимание Вопросы приветствуются
Editor's Notes
- #2: Я хочу расказать вам историю внедрение и смены нескольких NoSql хранилищ а так же об опыте реально их использвоания на продакшен серверах.
- #3: Перед нами встала задача порадовать наших клиентов красивыми отчетами о продажах.У каждого клиента есть магазины в системе, по магазина есть платежи. И все они в разной валюте. На тестовой базе все здорово – Графики красивые, отрисовка быстрая.В боевых услових печалька, чем крупней клиент тем печальнее выглядел его вход в систему.
- #4: Проблему надо было решать, и решать быстро поэтому первый метод был естественно – эволюционный, мы попытались улутшить скорость отрисовки средствами mysqlи Rails.
- #5: Скорость обработки выросла в 2 раза, но данный метод все равно был ограничен, ибо если клиент будет работать еще эффективней и заведет большее колчество магазинов ты мы получаем арифметическую прогресссию. Поэтому мы решили координальнос менить подход.
- #6: Обращение к чужому опыту показало, что большая часть времени при выборке из mysql базы данных по первичному ключу уходит на сам парсинг SQL запроса. Поэтмоу для подобных здач иделаьно подходят NoSQLрешения.
- #7: В результате анализа в качестве инструмента был выбран Redis.В жизненных условиях редас был разогнан до 20 000 оперция чтения записи в секунду. Никаких особоых нагрузок на камень и память не оказывал.Подкупил удобный руби клиент, реализованные методы работы с разными типами данных, очень удобно хранить массивы.Массовая выборка/удаление ключей по маске.
- #8: Что же произошло, 2 редис сервера работали в режиме мастер слэв. Мастер сервер должен был переехать на более производительную
- #9: Был развернут 2ой дата центр, полностью изолированный от первого. MySqlрепликация мастер мастер по выделенному VPN каналу. Репликация редиса нам не подходила и мы были вынуждены искать новое решение.