Артем Маринов "Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP "
0 likes201 views
Документ описывает платформу управления данными Facetz DMP, которая обслуживает 600 миллионов пользователей, предоставляя механизмы для сбора и анализа данных в реальном времени. Основные характеристики включают горизонтальную масштабируемость, быструю реакцию на события и удобство мониторинга. Также упоминается использование Kafka для обработки потоковых данных и оптимизации загрузки ресурсов кластера Hadoop.
Артем Маринов "Сегментируем 600 млн. пользователей в режиме реального времени каждый день. HBase/Kafka на службе DMP "
- 2. Что такое Facetz DMP • Data Management Platform • 600 млн пользователей
- 3. • Data Management Platform • 600 млн пользователей 5.5 млрд / сутки Что такое Facetz DMP
- 4. • Прямые установки пикселя • Поток данных от партнеров • Оффлайн выгрузки DMP Механизмы получения данных
- 5. Ключевые показатели • Горизонтальная масштабируемость • Оценка объема аудитории • Удобство мониторинга и разработки • Хорошая скорость реакции на события
- 8. Как было раньше Loader Analytic Engine statistics Partners
- 9. Ключевые показатели • Горизонтальная масштабируемость • Оценка объема аудитории • Удобство мониторинга и разработки • Хорошая скорость реакции на события
- 10. Ключевые показатели • Горизонтальная масштабируемость • Оценка объема аудитории • Удобство мониторинга и разработки • Хорошая скорость реакции на события
- 11. Ключевые показатели • Горизонтальная масштабируемость • Оценка объема аудитории • Удобство мониторинга и разработки • Хорошая скорость реакции на события
- 12. Чего мы хотим? • Писать данные в HBase сразу • Реагировать на события мгновенно • Удобство мониторинга и разработки
- 13. Начинаем сегментировать сразу • готовимся к random read • смена workload • максимальная плотность хранения Loader bulk_load
- 14. Начинаем сегментировать сразу • готовимся к random read • смена workload • максимальная плотность хранения • увеличиваем нагрузку Loader Segmentator trigger bulk_load
- 15. Начинаем сегментировать сразу Loader Segmentator trigger bulk_load / GOOGLEPartners • готовимся к random read • смена workload • максимальная плотность хранения • увеличиваем нагрузку
- 16. Kafka — прекрасный инструмент • Topic — набор partition • Partition — файл(ы) partition 1 partition 2 partition N
- 17. • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers • Topic — набор partition • Partition — файл(ы) Kafka — прекрасный инструмент
- 18. • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Group AA: 7 A: 5 • Topic — набор partition • Partition — файл(ы) Kafka — прекрасный инструмент
- 19. • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Group A Group B A: 7 A: 5 • Topic — набор partition • Partition — файл(ы) B: 3 B: 8 Kafka — прекрасный инструмент
- 20. • Producers — пишут в конец • Consumer Group — независимы partition 1 partition 2 partition N Producers Consumer A • Topic — набор partition • Partition — файл(ы) A: 7 A: 5 B: 3 B: 8 Group A Consumer BGroup B Kafka — прекрасный инструмент
- 21. Пишем данные в реальном времени • подготовка к random write Loader
- 22. Пишем данные в реальном времени • подготовка к random write • все пошло не так • самомасштабирование Stream-loaderLoader
- 23. Боты — зло
- 24. Планы • Утилизация ресурсов hadoop кластера • Точные средства хранения статистики в потоке • Различные оптимизации по CPU