Olap и oltp технологии
Download as PPTX, PDF4 likes4,398 views
Документ рассматривает технологии OLAP (оперативная аналитическая обработка данных) и OLTP (оперативная транзакционная обработка данных), детализируя их определения, преимущества и недостатки. Описаны различные типы OLAP, такие как MOLAP, ROLAP и HOLAP, а также их применение в различных отраслях, включая финансы и розничную торговлю. Также обсуждаются характеристики OLAP и OLTP систем, включая требования, объем данных и скорость обработки.
Olap и oltp технологии
- 1. OLAP и OLTP технологии Терновой И.С. САПР 5.1п
- 2. Содержание • Основа OLAP (определение OLAP, OLAP куб) • Хранилище данных • Теория OLAP (Правила Кодда, тест FASMI) • Классификация OLAP (ROLAP, HOLAP, MOLAP…) • Рынок OLAP продуктов и его перспективы • Применение OLAP на практике • Что такое OLTP (определение, требования) • Характеристики OLAP и OLTP 2
- 3. Что такое OLAP • OLAP это программный продукт, язык программирования, конкретная технология, совокупность концепций, принципов и требований, лежащих в основе программных продуктов, облегчающих аналитикам доступ к данным. • OLAP (Online Analytical Processing) – оперативная аналитическая обработка данных 3
- 4. Предпосылки появления OLAP Проблемы реляционных СУБД: • Относительная сложность написания SQL запросов и их большое количество • Агрегированные выборки • Необходимость привлечения IT специалистов 4
- 5. Многомерная схема хранения данных • Появляется идея о том, что можно сделать специализированный сервер и пусть данные в нем будут храниться не в виде таблиц, связанных между собой, а в виде кубов и измерений. • Измерения - основные атрибуты анализируемого бизнес-процесса • На пересечениях осей - измерений (Dimensions) - находятся данные, количественно характеризующие процесс - меры (Measures). 5
- 6. Преимущества многомерной схемы хранения перед реляционной • Легкая навигация по фактам • Легко определять вычисления над фактами • Можно работать не с отдельной ячейкой, а описать одной формулой операцию над целым диапазоном, так как будто это одна ячейка. • Легкость доступа к агрегированным данным • И т.д. 6
- 8. Правила и особенности Кодда В 1993 Е. Ф. Кодд с партнерами опубликовали статью c 12 правилами, инициированную компанией Arbor Software (сегодня это Hyperion Solutions), озаглавленную «Обеспечение OLAP (оперативной аналитической обработки) для пользователей - аналитиков»: 1. Концептуальное многомерное представление. 2. Прозрачность. 3. Доступность. 4. Постоянная производительность при разработке отчетов. 5. Клиент-серверная архитектура. 6. Общая многомерность. 7. Динамическое управление разреженными матрицами. 8. Многопользовательская поддержка. 9. Неограниченные перекрестные операции. 10. Интуитивная манипуляция данными. 11. Гибкие возможности получения отчетов. 12. Неограниченная размерность и число уровней агрегации. Edgar Frank Codd 8
- 9. Тест FASMI • FAST (Быстрый) • ANALYSIS (Анализ) • SHARED (Разделяемой) • MULTIDIMENSIONAL (Многомерной) • INFORMATION (Информации) Nigel Pendse Большинство существующих OLAP-систем удовлетворяет всем этим признакам. 9
- 10. Классификация OLAP • MOLAP (Multidimensional OLAP – многомерный OLAP) • ROLAP (Relational OLAP – реляционный OLAP) • HOLAP (Hybrid OLAP – гибридный OLAP) • Real-time ROLAP (ROLAP реального времени) • DOLAP (Desktop OLAP – настольный OLAP) • WOLAP (Web-based OLAP – OLAP ориентированный на Web) • SOLAP (Spatial OLAP – пространственный OLAP) • Mobile OLAP (OLAP для мобильных устройств) • JOLAP (Java OLAP) 10
- 11. MOLAP (Multidimensional OLAP) - и детальные данные, и агрегаты хранятся в многомерной БД Достоинства MOLAP-систем: • все данные хранятся в многомерных структурах, что существенно повышает скорость обработки запросов; • обработка разреженных данных выполняется лучше, чем в ROLAP. Недостатки: • данные куба «оторваны» от базовой таблицы; необходимы специальные инструменты для формирования кубов и их пересчёта в случае изменения базовых значений; • сложно изменять измерения без повторной агрегации. 11
- 12. ROLAP (Relational OLAP) - детальные данные хранятся в реляционной БД; агрегаты ранятся в той же БД в специально созданных служебных таблицах. Достоинства: • возможность использования ROLAP с хранилищами данных и различными OLTP-системами; • возможность манипулирования большими объемами данных; Недостатки: • медленнее, чем MOLAP и HOLAP; • функциональность систем ограничивается возможностями SQL; • сложность пересчета агрегированных значений при изменениях данных. 12
- 13. HOLAP (Hybrid OLAP) - детальные данные хранятся в реляционной БД, а агрегаты хранятся в многомерной БД. Достоинства: • комбинирование технологии ROLAP для разреженных данных и MOLAP для плотных областей Недостатки: • необходимость поддерживания MOLAP и ROLAP • проигрывает по скорости MOLAP 13
- 15. Основные вехи развития OLAP • 1962 - Публикация ” A Programming Language” Кена Айверсона (IBM) - Первый многомерный язык программирования; • 1970 - Появился Express. Первый многомерный продукт, ныне - собственность компании Oracle; • 1982 - Comshare System W. Первый OLAP инструмент, ориентированный на финансовые приложения. На рынке больше не предлагается, позднее Essbase использовал многие его концепции; • 1984 - Запущен Metaphor. Первый ROLAP; • 1990 - Cognos PowerPlay. Первый OLAP для Windows и первым настольным OLAP. Сегодня лидирует в секторе настольныхOLAP; • 1992 - Выпущен Essbase. Первый OLAP продукт,имеющий хороший рынок; • 1993 - Напечатана статья Кодда с определением OLAP; • 1994 - MicroStrategy DSS Agent. Первый ROLAP без многомерной СУБД, почти вся обработка выполняется с помощью множества SQL- запросов; • 1995 - Создан Holos 4.0. Первый HOLAP; • 1999 - Выпущен Microsoft OLAP Services . 15
- 16. Интенсивность использования OLAP по отраслям 1. Страхование 2. Производство 3. Пищевая промышленность ……………………….. 15. Консалтинг/проф.услуги 16. Архитектура/проектирование 17. Образование 16
- 17. Доли производителей на рынке OLAP Место Производитель Доля Лого 1 Microsoft ecosystem 31.6% 2 Oracle (incl Hyperion) 21.7% 3 SAP (incl Business Objects, Cartesis, OutlookSoft) 17.8% 4 IBM (incl Cognos, Applix) 16.6% 5 MicroStrategy 7.3% 17
- 18. Объем рынка OLAP продуктов (млрд. долл.) 18
- 19. Российские производители инструментов класса OLAP • Intersoft Lab Программный продукт «Контур» • BaseGroup Labs Программный продукт «Deductor» 19
- 20. Применение OLAP на практике • Анализ финансовых показателей деятельности предприятия • Корпоративная отчетность • Анализ бюджетных данных • Анализ клиентской базы • Анализ складских данных • Анализ продаж • Анализ закупок и цен • Анализ посещаемости Web-сайта • Публикация маркетинговых исследований • Создание информационного сервиса Потенциально применение таких продуктов возможно везде, где происходит сбор информации и требуется ее анализ 20
- 21. Применение OLAP на практике • Одна из крупнейших компаний в сфере ресторанного бизнеса • В настоящее время работает более 200 кофеен • География - Москва, регионы РФ и страны СНГ Открытие новых заведений, растущее число посетителей, широкий ассортимент кофейни привели к резкому увеличению объемов информации, хранящейся в учетных системах. В то же время конкуренция и стремление учесть пожелания гостей требуют анализа оперативных и исторических данных. Поэтому было принято решение создать корпоративное хранилище данных и разработать систему аналитических отчетов. Были поставлены следующие задачи: • Сбор и объединение данных из разных учётных систем. • Хранение данных за весь период работы. • Предоставление пользователю возможности построения динамических аналитических отчетов по любому сочетанию исторических и текущих данных. • Создание математических моделей на исторических и текущих данных. 21
- 22. Применение OLAP на практике 22 Было спроектировано хранилище данных на базе Deductor Warehouse 6 для СУБД MS SQL, настроена интеграция с 1С.Предприятие 8.1, R- Keeper и с другими информационными источниками. Большое внимание было уделено организации ETL-процесса: настроены процедуры поиска ошибок и пропусков данных, сформированы механизмы очистки, выявления дубликатов и противоречий. Затем были построены первые аналитические отчеты.
- 23. OLTP технология OLTP (оперативная транзакционная обработка данных) - способ организации базы данных, при котором система работает с транзакциями небольшими по размерам, но идущими большим потоком, и при этом клиенту требуется от системы максимально быстрое время ответа. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. OLTP-системы проектируются, настраиваются и оптимизируются для выполнения максимального количества транзакций за короткие промежутки времени. 23
- 24. Использование OLTP • банковские и биржевые операции • регистрация прохождения детали на конвейере • фиксация в статистике посещений очередного посетителя веб-сайта • автоматизация бухгалтерского, складского учёта и учёта документов 24
- 25. База данных должна быть построена как система OLTP, если требуется реализация одного из следующих аспектов работы: • одновременный доступ; система OLTP должна гарантировать, что только один пользователь в конкретный момент времени сможет изменять данные; • целостность изменений; все выполняемые в базе данных изменения выполняются в виде транзакций; система OLTP гарантирует, что все включенные в транзакцию шаги будут выполнены как единое целое. 25
- 26. Требования к OLTP • Сильно нормализованные модели данных; • При возникновении ошибки, транзакция должна целиком откатиться и вернуть систему к состоянию, которое было до начала транзакции; • Обработка данных в реальном времени. 26
- 27. Характеристики OLAP и OLTP Характеристики OLTP системы · Большой объем информации · Часто различные БД для разных подразделений · Нормализованная схема, отсутствие дублирования информации · Интенсивное изменение данных · Транзакционный режим работы · Транзакции затрагивают небольшой объем данных · Обработка текущих данных – мгновенный снимок · Очень много клиентов · Малое время отклика – несколько секунд Характеристики OLAP системы · Большой объем информации · Синхронизированная информация из различных БД с использованием общих классификаторов · Ненормализованная схема БД с дубликатами · Данные меняются редко, изменение происходит через пакетную загрузку · Выполняются сложные нерегламентированные запросы над большим объемом данных с широким применением группировок и агрегатных функций. · Анализ временных зависимостей · Небольшое количество работающих пользователей – аналитики и менеджеры · Большее время отклика (но все равно приемлемое) – несколько минут 27