12 HappyDev-lite-2014. Иван Погудин, Анатолий Никулин. Решение задач, связанных с высокими нагрузками и обработкой больших объемов данных.
0 likes187 views
Документ представляет обзор технологий и подходов к решению задач высокой нагрузки и обработки больших объемов данных, включая вертикальное и горизонтальное масштабирование. Рассматриваются фреймворки и системы, такие как Finagle, Hadoop и Storm, а также базы данных NoSQL, такие как Redis и MongoDB. Также подчеркивается рост объема данных в мире и важность Hadoop как экосистемы для хранения и обработки данных.
12 HappyDev-lite-2014. Иван Погудин, Анатолий Никулин. Решение задач, связанных с высокими нагрузками и обработкой больших объемов данных.
- 1. Обзор технологий и подходов для решения задач связанных с высокой нагрузкой и обработкой больших объёмов данных Анатолий Никулин и Иван Погудин
- 2. Как справиться с возрастающей нагрузкой • Вертикальное масштабирование • Горизонтальное масштабирование
- 3. Вертикальное масштабирование • Утилизация множества ядер (многопоточность) • Часто не требует изменение приложения • Малый предел масштабирования
- 4. Горизонтальное масштабирование • Увеличивается количество элементов • Возрастает вероятность отказа • Усложняются механизмы взаимодействия • Дешевле чем вертикальное после достижения определённого масштаба
- 6. Фреймворки и системы • Finagle (https://twitter.github.io/finagle/) • Hadoop (http://hadoop.apache.org/) • Storm (http://storm.incubator.apache.org)
- 7. Finagle • Scala • Примитивы: сервера и клиенты • Thrift, Http, Mux • Future • Трекинг запросов • Мониторинг производительности • Java-API в планах
- 8. Hadoop • Java • Map/reduce • HDFS - распределённая файловая система • HBase - база данных • Де-факто стандарт для обработки больших данных
- 9. Storm • Сlojure • Stream processing • Топология (Topology) • Краны (spouts) и изгибы (bolts) • Java-API и другие языки
- 10. Базы данных (NoSQL) • Memcached (http://memcached.org) • Redis (http://redis.io) • Cassandra (http://cassandra.apache.org/) • MongoDB (http://www.mongodb.org/) • Aerospike (http://www.aerospike.com/)
- 11. Memcached • Хэш таблица с доступом по ключу • Распределённый • Данные только в памяти • set, add, replace, append, prepend, cas, get, gets, delete, incr, decr
- 12. Redis • key-value cache and store • strings, hashes, lists, sets, sorted sets, bitmaps • persistence (snapshots) • репликация (master-slave) • redis cluster в процессе
- 13. Cassandra • Колонко-ориентированная (Column-oriented) • Log-structured merge-tree • Очень быстрая запись • Thrift интерфейс, CQL3
- 14. MongoDB • Master/slave репликация • Sharding (mongos, mongo configsrv) • Документ-ориентированная • JavaScript • Map/reduce
- 15. Aerospike • SSD + memory • Сложные структуры данных (списки, хэш таблицы и т.д.) • aql
- 16. Дьявол в деталях • Оптимизации (мелкое в рамках одной операции становится крупным при большом их числе) • Необходимость поиска компромисса (память, процессор, диск, сеть) • Механизмы взаимодействия элементов распределённой системы • Отказоустойчивость • И многое многое другое
- 18. Общее количество данных в мире 2 Zettabyte это: 1000000000000000000000 bytes или 1 миллиард терабайт
- 19. Закон Мура для данных Каждые два года количество данных увеличивается в двое
- 21. Bolid F1 6GB per 90 min
- 22. Boeing-787 500 GB per fly*
- 23. Large Hadron Collider 40TB per day
- 24. Users: • Количество интернет пользователей: 3 млрд. • Количество смартфонов: 1.3 млрд. • Количество СМС в день: 25 млрд.
- 25. Hadoop - наше всё Платформа для: Хранения и распределенной обработки данных (распределенных вычислений). Hadoop is a large-scale distributed batch processing infrastructure
- 26. BigData - а это сколько?
- 27. А у вас нет столько данных для Hadoop
- 29. Игроки рынка
- 30. Наконец Hadoop это целая экосистема
- 31. Скилы IF { компьютерная графика == линейная алгебра } THEN { большие данные == статистика и теория вероятности }
- 32. Рынок труда РФ • Обработка пользовательских данных. Реклама, банки • Обработка сенсорных данных
- 33. Греют воздух большими данными И.Погудин и А.Никулин (ведущие кочегары)