Александр Богданов «Lambda - архитектура»
0 likes829 views
Документ описывает lambda-архитектуру как новую парадигму обработки больших данных, выделяя основные характеристики big data, такие как объем, скорость и разнообразие. Также рассматриваются требования к системам big data, включая гибкость, отказоустойчивость и возможность обработки данных в реальном времени. Обсуждаются различные уровни архитектуры: слой пакетной обработки, слой обработки потоковых данных и слой предоставления, подчеркивая важность надежности и масштабируемости.
Александр Богданов «Lambda - архитектура»
- 1. LAMBDA-АРХИТЕКТУРА Новая парадигма для Big Data
- 2. CREDITS 2 “Big Data” - Nathan Marz и James Warren Принципы построения и лучшие практики масштабируемых информационных систем реального времени. Nathan Marz – работал в Backtype, Twitter. Автор фреймворков Storm, Cascalog, ElephantDb.
- 3. 3
- 4. ХАРАКТЕРИСТИКИ BIG DATA СИСТЕМЫ 4 Характеристики Big Data системы
- 5. VOLUME 5 Всего за два дня мы генерируем столько же информации, сколько было создано с начала человеческой истории вплоть до 2003 года. Ожидается, что к 2020 году объем существующей цифровой информации вырастет с текущих 3,2 зеттабайт до 40 зеттабайт. (1 ZB = 1000000000000 GB) Объем хранимых данных у большинства компаний в США – 100+ TB данных. С появлением Internet of Things объем хранимых данных будет увеличиваться еще быстрее. Volume / Количество информации
- 6. INTERNET OF THINGS 6 У каждого девайса есть сенсоры, генерирующие информацию, которую также надо хранить. Интернет вещей - единая сеть, соединяющая окружающие нас объекты реального мира и виртуальные объекты.
- 7. VELOCITY 7 Velocity Источники high-velocity данных Лог-файлы: веб-сайты, базы данных, firewall. Сетевое оборудование: роутеры, свитчи. Пользовательские девайсы: смартфоны. Социальная медиа информация: посты в социальных сетях Онлайн игры SaaS: яркий пример – LinkedIn.
- 8. VARIETY 8 Для Big Data типична ситуация, когда входные данные даже близко не напоминают структурированные. Документы в различных форматах Социальные сети E-mails APIs Geodata Логи Variety
- 9. ИНФОРМАЦИОННАЯ СИСТЕМА? Требования к системе, типы информации
- 10. ТРЕБОВАНИЯ К BIG DATA СИСТЕМА 10 Гибкость и отказоустойчивость Низкая задержка при чтении и обновлении Масштабируемость Широкий спектр применения Расширяемость Возможность AdHoc-запросов Минимальные расходы на обслуживание Возможность отката к нужному состоянию Требования к Big Data системе
- 11. 11 Не вся информация одинаково важна
- 12. 12 Люди генерируют события Транзакции кредитной карты Перемещение по карте Добавление человека в список друзей
- 13. 13 Хранение текущего состояния Subscriber Balance 79092124038 50 79525468451 50 79033456789 114 Subscriber Balance 79092124038 150 79525468451 50 79033456789 114
- 14. 14 Хранение событий Subscriber Balance Timestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 Subscriber Balance Timestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 79092124038 150 2015-01-01
- 15. 15 query = function ( all data )
- 16. 16 Количество людей с одинаковым балансом Subscriber Balance Timestamp 79092124038 50 2014-12-31 79525468451 50 2014-05-21 79033456789 114 2015-11-04 Balance Count 50 2 114 1 150 1
- 19. 19 Batch Layer Speed Layer Serving Layer
- 21. ИСТОЧНИКИ ДАННЫХ
- 22. ИСТОЧНИКИ ДАННЫХ 22 Apache Kafka RabbitMQ ZeroMQ HDFS RDBMS etc. Источники данных
- 23. BATCH LAYER
- 24. BATCH LAYER. ОБЗОР. 24 Incoming Data Hadoop ElephantDB
- 25. 25 BATCH LAYER. ПЛЮСЫ И МИНУСЫ. Вычисления производятся на всем объеме данных Вычисления очень хорошо масштабируются Большое время ожидания
- 26. 26 Слой пакетной обработки хранит данные в режиме “append only”
- 27. Batch Layer. Компоненты. 27 Apache Hadoop MapReduce Apache Spark Hive / Pig SparkSQL – Shark successor Cascading / Cascalog Pangool BATCH LAYER
- 28. 28 “Сырые” данные Витрина 1 Витрина 2 Витрина 3 Batch Layer. Создание витрин данных.
- 29. 29 Batch Layer. MapReduce. Берем большой объем данных и разделяем его на маленькие части … … Output MAPREDUCE DoWork() DoWork() DoWork() … Применяем одну и ту же операцию к каждой из частей Соединяем выходные данные каждой из частей
- 30. 30 Необходимо отлавливать ошибочные данные как можно раньше. Проверка корректности данных на этапе записи лучше проверки на этапе чтения
- 31. Batch Layer. Сериализация данных. 31 СЕРИАЛИЗАЦИЯ ДАННЫХ Используйте формат со схемой данных. CSV Thrift Avro Parquet Бонус: больше скорость, меньше занятого дискового пространства
- 32. 32 База данных “только для чтения” Произвольная запись не требуется.
- 33. 33 Каждая итерация Batch Layer заново генерирует витрины
- 34. Batch Layer. Базы данных. 34 ElephantDB SploutSQL Voldemort (+ Read-Only) HBase (bulk loading) Druid БАЗЫ ДАННЫХ ДЛЯ BATCH LAYER
- 35. 35 И на этом можно было бы закончить, но…
- 36. 36 Информация, обработанная Batch Layer Время С е й ч а с Данные за несколько часов Еще не обработана … но это еще не все
- 37. Speed Layer
- 39. 39 Speed Layer Обработка потоковых данных Непрерывные вычисления Операции над транзакциями
- 40. 40 Проблемы с полученными данными могут возникнуть лишь в Speed Layer
- 41. 41 Если что-то пойдет не так в Speed Layer, то Batch Layer это автоматически исправит
- 42. CAP-ТЕОРЕМА 42 Выберите два свойства A C P Availability / Доступность любой запрос к распределённой системе завершается корректным откликом Consistency / Согласованность во всех вычислительных узлах в один момент времени данные не противоречат друг другу Partition Tolerance / Устойчивость к разделению Расщепление распределённой системы на несколько изолированных секций не приводит к некорректности отклика от каждой из секций
- 43. Speed Layer. Компоненты. 43 Apache Storm Apache Spark Streaming Apache S4 IBM InfoSphere Streams Apache Samza SqlStream Blaze SPEED COMPONENTS
- 44. Speed Layer. Базы данных. 44 Hbase Cassandra Redis БАЗЫ ДАННЫХ ДЛЯ SPEED LAYER
- 45. Serving Layer
- 47. 47 Serving Layer. Произвольный доступ Объединение Batch и Speed витрин
- 48. Итого
- 49. 49 ВОЗМОЖНАЯ РЕАЛИЗАЦИЯ ЛЯМБДА АРХИТЕКТУРЫ
- 50. 50 Ошибки исправляются повторным пересчетом витрины с использованием “сырых” данных. Хранилища данных оптимизированы. Неизменяемость данных делает систему надежнее.
- 51. Источники информации Факты о Big Data - http://www.bigdata-madesimple.com/eye-opening-facts- everyone-should-know-about-big-data/ Инфографика “How Much Is A Petabyte” - http://mozy.com/blog/misc/how- much-is-a-petabyte/ 51