Технологии и продукты Oracle для обработки и анализа Больших Данных
3 likes1,330 views
Документ обсуждает технологии и продукты Oracle для обработки и анализа больших данных, включая платформу Oracle Exadata и архитектуру Apache Hadoop. Он поднимает вопросы о целесообразности хранения и обработки больших объемов данных, а также описывает различные подходы к персонализации и маркетингу на основе анализа данных. Кроме того, документ затрагивает темы, такие как возможности обработки потоковых данных и интеграция с реляционными базами данных.
Технологии и продукты Oracle для обработки и анализа Больших Данных
- 1. 0 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 2. Технологии и продукты Oracle для обработки и анализа Больших Данных Андрей Пивоваров Руководитель группы перспективных технологий 1 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 3. Gartner Hype Cycle 2013 2 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 2
- 4. Откуда берутся Большие данные? (1/2) Они были всегда, но не всегда обрабатываются Например, традиционные данные из RDBMS за прошлые годы В самой сущности таких данных может не быть ничего нового, их просто очень много. Возникают вопросы о целесообразности хранения и обработки таких объемов в традиционных архитектурах Это может быть просто дорого 3 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 3
- 5. Откуда берутся Большие данные? (2/2) Новые данные Логи, данные телеметрии, датчиков, полуструктурированные данные и неструктурированные данные, записи в социальных сетях, вебсайты и т.д. Данные, которые могут очень быстро накапливаться, при этом, обычно (но не всегда) информационная плотность их низкая. Данные, которые очень дорого хранить используя традиционный подход 4 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 4
- 6. Зачем обрабатывать Большие Данные? Очень многие примеры о Big Data связаны с точечным маркетингом и персонализацией Персонализированные предложения требуют очень большого количества данных о поведении клиентов. Необходимость собирать данные из многих источников 5 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 5
- 7. Платформа Oracle для обработки Больших Данных Поток 6 Хранение Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Организация Confidential – Oracle Internal Анализ Визуализация
- 8. Платформа Oracle для обработки Больших Данных Хранение Hadoop Oracle NoSQL Database Open source R Applications 7 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Организация Анализ Визуализация Oracle Event Processing Oracle RealTime Decisions Or Oracle Big Data Connectors Oracle Data Integrator Confidential – Oracle Internal Oracle Advanced Analytics Data Warehouse Oracle Database In-Database Analytics Поток Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery
- 9. Exadata Database Machine 8 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 10. Что такое Oracle Exadata? Машина для СУБД Oracle – OLTP – Хранилищ данных – Смешанных нагрузок – Консолидации приложений на базе Oracle Database Построено на основе: – Oracle Database Все приложения, работающие c Oracle Database, могут работать на Exadata – Oracle Hardware 9 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 9
- 11. Exadata на аппаратном уровне Быстрая дисковая подсистема Использование 40Gb/s Infiniband Использование FLASH карт (до 22.4 TB) Много RAM (до 4TB) Много процессорных ядер (до 160+168) In-Memory Database Machine 10 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 10
- 12. Архитектура Exadata Single Instance RAC InfiniBand Switch/Network Exadata Cell 11 Exadata Cell Exadata Cell Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal •Каждая ячейка Exadata – самостоятельный сервер с установленными дисками и ПО Exadata •Данные «размазаны» между многими ячейками Exadata •Нет ограничения на количество ячеек в системе •Ячейки выполняют множество операций, которые в традиционной архитектуре делает Oracle •Ячейки работают в режиме MPP
- 13. Инновации в Exadata • Интеллектуальная СХД – 10-кратное сжатие для хранилищ – 15-кратное сжатие для архивного хранения – Smart Scan – InfiniBand + • Hybrid Columnar Compression + несжатые + сжатые • Интеллектуальный PCI Flash Cache – Ускоряет произвольный I/O до 30 раз primary DB – Время сканирования уменьшается в 3 раза standby 12 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal test dev backup
- 14. Масштабируемость BIG DATA??? Тысячи процессорных ядер Петабайты данных 13 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 15. Google trends. Big Data. 14 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 14
- 16. Почему о Больших Данных так много говорят? Технологии, раньше используемые только в веб-проектах стали достаточно зрелыми – Не обязательно держать штат программистов, чтобы ими пользоваться Появились новые возможности для получения конкурентных преимуществ: – Глубокий анализ поведения клиентов – Высокоточная реклама – Объединение и анализ данных из многих источников, в том числе неструктурированных – Анализ мошенничеств – и т.д. Big Data технологии позволяют существенно удешевить хранение и обработку данных 15 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 15
- 17. Недопонимания о Big Data Под Big Data разные вендоры могут понимать разное Big Data – это множество разных технологий – Hadoop – NoSQL – Event Processing – … Некоторые задачи из области Big Data могут решаться и с использованием обычных СУБД, но это часто будет дороже 16 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 16
- 18. Что такое Hadoop? Apache Hadoop - распределенная вычислительная архитектура: – Open source (проект Apache Software Foundation) – Включает в себя распределенную файловую систему HDFS – Служит для пакетной обработки и ETL – Обрабатывает данные в массивно-параллельном режиме (MapReduce) – Работает на очень больших кластерах (сотни и даже тысячи узлов) на дешевом «железе» – Автоматически обрабатывает отказ узлов, и перераспределение данных 17 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 17
- 19. Apache Hive Apache Hive – Инфраструктура, эмулирующая реляционную СУБД над Hadoop – Разработана в Facebook – Есть SQL-подобный язык HiveQL – Позволяет строить свербольшие хранилища данных в Hadoop 18 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 18
- 20. Hadoop или реляционная база данных? Реляционная база данных 19 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal Hadoop 19
- 21. Классическая BI&DW система Пользователи ХРАНИЛИЩЕ ДАННЫХ Oracle Database 20 Oracle ERP, CRM Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Sybase, DB2, MS SQL Server Confidential – Oracle Internal Файлы, MS Excel SAP
- 22. BI&DW система c Hadoop Пользователи ХРАНИЛИЩЕ ДАННЫХ Hadoop Oracle Database 21 Oracle ERP, CRM Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Sybase, DB2, MS SQL Server Confidential – Oracle Internal Файлы, MS Excel SAP
- 23. Oracle NoSQL Database Распределенная, масштабируемая key-value база данных • Простая модель данных • • • • Пара Key-value с подходом major+sub-key Операции read/insert/update/delete Поддержка ACID и BASE транзакций Масштабируемость NoSQLDB Driver • Высокая доступность Одна или более реплик • Катастрофоустойчивость засчет разнесения реплик • Устойчивость к отказу мастера • Нет одной точки отказа Storage Nodes Storage Nodes Data Center A Data Center B Прозрачная балансировка нагрузки • Чтение с мастера или реплики • 22 NoSQLDB Driver Оптимизированный доступ к данным • • Application Динамическое партиционирование и перераспределение • • Application Драйвер знает о сетевой топологии и временах задержки Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 22
- 24. BIG DATA Appliance 23 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 25. Oracle Big Data Appliance Машина для Hadoop и NoSQL DB • Кластер из 18 узлов – 64 GB RAM на узле = 1152 GB RAM – 16 ядер Intel на узле = 288 ядер – 48 TB дисков на узел = 864 TB • 40 Gb p/sec InfiniBand • 10 Gb p/sec Ethernet • Может продаваться в конфигурации 1/3 и 2/3 стойки 24 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 26. Oracle Big Data Appliance Software • Oracle Linux • Java Hotspot VM • Cloudera Hadoop Distribution Hadoop Core, HDFS, Hive, HBase, Zookeeper, Oozie, Mahout, Sqoop, Administration Tools • R Distribution • Oracle NoSQL Database • Oracle Adapters for Hadoop: – Oracle R Connector for Hadoop – Oracle SQL to HDFS Connector – Oracle Data Integrator Application Adapter for Hadoop – Oracle Loader for Hadoop 25 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 27. Пример: Крупный российский банк Дано: 1) Файлы, генерируемые “черным ящиком” Файлы без единого переноса строки, размером несколько сотен Мб. Суммарный объем десятки Тб 2) Мета-описание этих файлов (Excel) Прим: формат файлов меняется раз в несколько недель 26 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 28. Задача Необходимо: 1) Хранить всю первичную информацию в течении нескольких лет 2) Загружать часть полей в РСУБД Oracle (~ 50 из 1000) 3) Список полей, необходимых для загрузки в РСУБД постоянно меняется 27 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 29. Решение Big Data Appliance ExaData + OLH 28 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 30. Event Processing 29 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 31. Oracle Event Processing • Технология обработки и анализа потока данных • • Упорядочен по времени • Нужно на лету уметь обнаруживать «шаблоны» • Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Отсутствует конец потока • 30 Непрерывный поток, часто большого объема Невозможно или не эффективно обрабатывать/анализировать в реальном времени с применением баз данных Confidential – Oracle Internal
- 32. Oracle OEP: Выявление шаблонов Торговля на бирже – шаблон “W” Y X Z W days 9 1 12 SELECT FIRST(x.time), LAST(z.time) FROM ticker MATCH_RECOGNIZE (ONE ROW PER MATCH PARTITION BY name PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)) Y AS (price > PREV(price)) W AS (price < PREV(price)) Z AS (price > PREV(price))) 31 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal 19
- 33. Oracle Event Processing in Turkcell Кто из абонентов послал 5 смс из определенного торгового центра за 10 последних минут? 33 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal
- 34. Платформа Oracle для Big Data Поток 37 Хранение Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Организация Confidential – Oracle Internal Анализ Визуализация
- 35. Платформа Oracle для Big Data Хранение Hadoop Oracle NoSQL Database Open source R Applications 38 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Организация Анализ Визуализация Oracle Event Processing Oracle RealTime Decisions Or Oracle Big Data Connectors Oracle Data Integrator Confidential – Oracle Internal Oracle Advanced Analytics Data Warehouse Oracle Database In-Database Analytics Поток Oracle Business Intelligence Applications Oracle Business Intelligence Tools Oracle Endeca Information Discovery
- 36. 39 Copyright © 2013, Oracle and/or its affiliates. All rights reserved. Confidential – Oracle Internal