РИФ 2016, Tarantool – кейсы использования
0 likes124 views
Tarantool — это высокопроизводительная система управления базами данных с возможностями кэширования, разработанная в Mail.ru, и оптимизированная для работы с высоконагруженными системами. Она предлагает характеристики как для кэша, так и для традиционных СУБД, включая ACID-транзакции, репликацию и поддержку различных запросов. Основные случаи использования включают системы аутентификации, уведомлений, рекламы и веб-аналитику, обеспечивая низкую задержку и высокую доступность.
РИФ 2016, Tarantool – кейсы использования
- 1. Tarantool – кейсы использования Dennis Anikin, Director Engineering, Email & Cloud at Mail.Ru https://www.facebook.com/TarantoolDatabase
- 2. Что такое Tarantool? • СУБД с сервером приложений • Открытый исходный код • Разрабатывается в Mail.Ru • Существует с 2008 года • Основное применение: высоконагруженные системы • Настоящая СУБД с транзакциями, но быстрая как кэш!
- 5. Когда использовать Tarantool? Отсутствуют свойства кэша • Sub 1 ms latency • 100K-300K QPS per one CPU core • 100K updates per node • Small number of nodes (money saver) • Expiration • Always up, no maintenance windows • Optimized for heavy parallel workloads СУБД
- 6. Когда использовать Tarantool? Присутствуют свойства кэша! • Sub 1 ms latency • 100K-300K QPS per one CPU core • 100K updates per node • Small number of nodes (money saver) • Expiration • Always up, no maintenance windows • Optimized for heavy parallel workloads И свойства СУБД никуда не потерялись TarantoolDB DB DB DB СУБД
- 7. Когда использовать Tarantool? Cache Отсутствуют свойства СУБД • Persistence • ACID Transactions • Replication • Stored procedures • Tables, Indexes, Secondary indexes • Cursors, range and full scan queries
- 8. Когда использовать Tarantool? СУБД Свойства СУБД • Persistence • ACID Transactions • Replication • Stored procedures • Tables, Indexes, Secondary indexes • Cursors, range and full scan queries И все свойства кэша Tarantool
- 10. Когда использовать Tarantool? Database Свойства СУБД • Persistence • ACID Transactions • Replication • Stored procedures • Tables, Indexes, Secondary indexes • Cursors, range and full scan queries Cache
- 11. Когда использовать Tarantool? Database Cache Свойства кэша • Sub 1 ms latency • 100K-300K QPS per one CPU core • 100K updates per node • Small number of nodes (money saver) • Expiration • Always up, no maintenance windows • Optimized for heavy parallel workloads
- 12. Когда использовать Tarantool? Database Cache И новые проблемы! • Sub 1 ms latency не гарантировано • 100K-300K QPS не гарантировано • Несогласованность данных • Холодный старт
- 13. Когда использовать Tarantool? СУБД Cache • Свойства СУБД • Свойства кэша • Нет новых проблем Tarantool
- 14. Когда использовать Tarantool? TarantoolСУБД Cache База данных и кэш в одном флаконе
- 15. Базы данных MySQL, Oracle, Postgres Redis, CouchBase, Aerospike Reliability Speed
- 16. Базы данных MySQL, Oracle, Postgres Redis, CouchBase, Aerospike Reliability Speed
- 17. Кейсы использования • Система аутентификации • Система пуш уведомлений • Система показа рекламы • Видео проигрыватель • Веб аналитика • Хранилище сообщений мессенджеров • Антиспам • Замена memcached • Система мониторинга • Система рейтингов • И многое другое …
- 18. Система аутентификации • Востребованная (10-1M RPS) КЭШ • Низкая latency (sub 1 ms) КЭШ • Высокая доступность • Постоянно ходит в хранилище КЭШ • Anti brute-force/anti fraud • Почти каждое обращение – это транзакция • Много неизбежной лишней работы • Большой размер данных • Expiration КЭШ • Persistence
- 19. Система аутентификации • Востребованная (10-1M RPS) • Низкая latency (sub 1 ms) • Высокая доступность СУБД • Постоянно ходит в хранилище • Anti brute-force/anti fraud СУБД • Почти каждое обращение – это транзакция СУБД • Много неизбежной лишней работы • Большой размер данных • Expiration • Persistence СУБД
- 23. Система аутентификации По логину и паролю Auth Tarantool Authentication Web server Anti Brute Force 50K QPS (transactions) Read/Write User
- 24. Система аутентификации По сессии/токену Web server Page load Ajax request Mobile API call Web server Web server Session Tarantool Profiles Tarantool 1M QPS! 4x, 20% 8x, 15%
- 30. Система пуш уведомлений Server Side Server Side Server Side Tarantool iOS API Android API Mobile Phone/T ablet Mobile Phone/T ablet События Queue Tarantool 200K QPS read/write
- 32. Система показа рекламы Web server Source Of data 10+ рекламных блоков Web server Web server Ad system Source Of data Source Of data • На каждый блок из10+ • Лукапим источники данных • Аггрегируем результат • Понимаем, что показать • Тратим несколько ms!
- 33. Система показа рекламы Web server Source Of data 10+ рекламных блоков Web server Web server Ad system Source Of data Source Of data • Total read QPS is 3M • Transactions per sec is 1M
- 34. Вывод такой: • вам нужно читать/писать горячие данные КЭШ • с производительностью 100K QPS КЭШ • параллельно КЭШ • и вам нужно время ответа менее чем 1 мс КЭШ • и 99.99% uptime СУБД • и вы хотите выжать все соки из ваших серверов КЭШ • при этом иметь транзакции, репликацию, persistence и все другие свойства классических СУБД СУБД • и все это в базе данных, которую легко администрировать СУБД If
- 35. then use Tarantool