Ускорение веб-аналитики с использованием Column-oriented СУБД (Иван Авсеянко)
Download as PPT, PDF4 likes849 views
Документ обсуждает ускорение веб-аналитики с использованием столбцовых СУБД и анализирует различные системы, такие как Infobright, Infinidb и MonetDB, их преимущества и недостатки. Приводятся результаты тестов на время загрузки данных и производительность выборок для различных СУБД с примерами данных. Также представлены рекомендации по выбору СУБД в зависимости от типа данных и характера запросов.
Ускорение веб-аналитики с использованием Column-oriented СУБД (Иван Авсеянко)
- 1. Ускорение веб-аналитики с использованием column-oriented СУБД Иван Авсеянко
- 2. Возраст Пол Местоположение Статистика хитов Много чего ещё...
- 3. SQL * *rulez
- 4. Какую СУБД выбрать? MySQL; PostgreSQL; Oracle; MS SQL ...
- 5. Больше хитов – больше данных
- 6. Больше данных – больше проблем Для примера – www.rambler.ru 14 000 000 просмотров; 200 байт на хит; 2,6 ГБ логов в день;
- 7. Проблемы “традиционных” СУБД Запросы заранее неизвестны Даже индексы могут не уместиться в RAM Данные загружаются слишком медленно
- 8. OLTP
- 9. Иван Иванов 1 курс Факультет биологии Группа 123 Петр Петров 1 курс Факультет биологии Группа 132 Сидор Сидоров 1 курс Факультет экономики Группа 190
- 12. Преимущества колонок Каждую колонку можно отсортировать по-своему “ Традиционные” индексы не нужны Меньше операций seek при обработке многих строк Есть возможность эффективно сжимать данные
- 13. Колонка – массив однородных данных
- 14. Сжатые данные лучше, чем несжатые Уменьшение объёма данных Значительное ускорение работы СУБД; Для каждой колонки можно выбрать наиболее подходящий алгоритм сжатия
- 15. Реализации
- 16. Open source and free! Infobright (CE) InfiniDB (CE) MonetDB LucidDB ...; C-Store (2006) Infobright (EE) InfiniDB (EE) Oracle ...;
- 17. Infobright - плюсы Лучшее сжатие на рынке Неплохая скорость загрузки данных в БД Хорошая скорость выполнения сложных запросов
- 18. Infobright - минусы Реализовано не очень большое подмножество языка SQL (хотя есть медленный MySQL optimizer) Однопоточный загрузчик данных Однопоточное выполнение запроса Баги
- 19. InfiniDB - плюсы Многопоточная загрузка данных Многопоточное выполнение запросов Довольно полная реализация SQL, с возможностью выполнения DELETE, INSERT, UPDATE Поддержка транзакций (MVCC)
- 20. InfiniDB - минусы Гигантский размер БД (сжатие доступно только в EE) Небыстрая загрузка данных (из-за отсутствия компрессии)
- 21. Monet DB - плюсы Довольно полная реализация SQL, включая INSERT, UPDATE, DELETE Есть сжатие данных Поддержка транзакций (OCC) Подержка Xquery и других интерфейсов к БД
- 22. Monet DB - минусы Слабое сжатие данных Относительно медленная загрузка данных
- 23. Тестовый набор данных ~327,5 миллионов строк 23 колонки ~63 GB 29 каталогов, 2814 файлов
- 24. Тестовая конфигурация CPU: Intel Core 2 Duo E6550 @ 2.33GHz RAM: 8GB HDD: 1Tb SATA, 32Mb cache, 7200RPM OS: Fedora 15, Linux kernel 2.6.40.4-5.fc15.x86_64
- 25. Версии ПО Infobright CE 4.0.4 x86_64 InfiniDB CE 2.2.2 x86_64 MonetDB 11.5.3 x86_64 MySQL 5.5.14 x86_64
- 26. Загрузка данных
- 27. MySQL/MyISAM LOAD DATA LOCAL INFILE '$i' INTO TABLE test; Время загрузки – 92 минуты 26 секунд Размер данных – 63 Gb
- 28. Infobright CE LOAD DATA LOCAL INFILE 'filename' INTO TABLE test Время загрузки – 216 минут Размер данных – 8,5 Gb
- 29. MonetDB COPY INTO test FROM 'file.log' DELIMITERS '\t' LOCKED; Время загрузки – 643 минуты Размер данных – 63 Gb
- 30. InfiniDB LOAD DATA LOCAL INFILE '$i' INTO TABLE test; Время загрузки – > 24 часов Размер данных – > 63 Gb
- 31. MySQL/InnoDB LOAD DATA LOCAL INFILE '$i' INTO TABLE test; Со сжатием (Barracuda)! Время загрузки – 2,5 суток Размер данных – 36 Gb
- 32. Выборки
- 33. SELECT COUNT(*) FROM test;
- 34. MySQL/MyISAM – 0,03 секунды Infobright CE – 0,6 секунды MonetDB – 4 ,2 секунды MySQL/InnoDB – 2 8 минут
- 35. SELECT country, state, SUM(imps) AS impressions, SUM(clicks) AS clicks FROM test WHERE is_fraud < 1 GROUP BY country, state ORDER BY country, state;
- 36. Infobright CE – 7 минут 44 секунды MySQL/MyISAM – 13 минут 31 секунда MonetDB – 32 минуты 11 секунд MySQL/InnoDB – 72 минуты 4 секунды
- 37. Другие результаты http://www.mysqlperformanceblog.com/2009/10/02/analyzing-air-traffic-performance-with-infobright-and-monetdb/ http://www.mysqlperformanceblog.com/2010/01/07/star-schema-bechmark-infobright-infinidb-and-luciddb/
- 38. Как сделать выбор? Не используйте колоночные СУБД, если ваши данные часто обновляются. Не используйте колоночные СУБД, если вам не нужны сложные и непредсказуемые выборки.
- 39. Оптимизации IB Данные колонок хранятся блоками по 65535 записей (DataPack) , сжатие зависит не только от типа колонки, но и от содержимого блока;
- 40. Оптимизации IB Для каждого DataPack хранятся метаданные, такие как результат выполнения функций MAX(), MIN(), SUM(), AVG() для значений блока
- 41. Оптимизации IB Планировщик запросов использует метаданные для определения «нужных», «ненужных» и «подозрительных» блоков. Данные, которые не нужны, не читаются с диска и не разжимаются.
- 42. Советы по оптимизации IB ServerMainHeapSize = 1/2 – 2/3 доступной RAM LoaderHeapSize = не меньше 800 MB, если позволяет память DataFolder и CacheFolder лучше быть на разных дисках Без крайней необходимости не включайте MySQLQueryOptimizer