Опыт использования Oracle Essbase+ при работе с большими объемами данных
0 likes232 views
Документ описывает внедрение решения Oracle Hyperion для анализа данных в группе компаний «Спортмастер», которое обеспечило эффективное управление большими объемами продаж и остатков товаров. Пилотный проект достиг всех бизнес- и IT-результатов, включая быстрое создание отчетов и высокую производительность при операциях с данными. Компания 'Спортмастер' выразила удовлетворение в результате работы с новой технологией, планируя ее последующее использование в промышленной эксплуатации.
Опыт использования Oracle Essbase+ при работе с большими объемами данных
- 1. ОПЫТ ИСПОЛЬЗОВАНИЯ ORACLE ESSBASE+ ПРИ РАБОТЕ С БОЛЬШИМИ ОБЪЕМАМИ ДАННЫХ Роман Удальцов КОНСУЛЬТАНТ ПО ВНЕДРЕНИЮ БИЗНЕС-ПРИЛОЖЕНИЙ КОМПАНИИ КРОК
- 2. О ГРУППЕ КОМПАНИЙ «СПОРТМАСТЕР» • Деятельность − Розничный и оптовый оператор рынка спорттоваров – бренд Спортмастер − Розничный оператор рынка casual – бренд O’stin • Масштаб − Оборот в 2007 г. – более 1 млрд. $ − Количество магазинов – более 250 • География − Операции в РФ, Украине, Белоруссии − Магазины во всех крупных городах • Логистика − Более 500 точек поставки по всему миру − Сеть собственных складов (ФРЦ, РРЦ)
- 3. БИЗНЕС-ЗАДАЧИ ПИЛОТНОГО ПРОЕКТА • Формирование ряда регламентированных отчетов • Произвольный анализ (online) для аналитика • Простота анализа данных для обычного пользователя, в привычном инструменте (MS Excel) • Скорость выполнения типовых BI-операций (drill-down/rollup) <10 секунд, в том числе с максимальной детализацией • Возможность сведения остатков и продаж в одном отчете
- 4. ИТ-ЗАДАЧИ ПИЛОТНОГО ПРОЕКТА • Поддержка больших объемов данных куба Essbase (сотни млн. строк в фактах, млн. строк в измерениях) • Производительность при создании/обновлении куба (полное обновление < 4 часов, инкрементальное < 1.5 часов) • Работа с атрибутами измерений (вычисляемые показатели на атрибутах, поиск, фильтрация по атрибутам) • Масштабируемость: рост уровней деревьев не должен требовать изменения модели
- 5. ИСХОДНЫЕ ДАННЫЕ ПРОЕКТА • Факты (8 месяцев, ежедневные): − 50 млн. записей по продажам − 520 млн. записей по остаткам • Справочники: − 745 записей магазины/склады − 1 200 000 записей артикулы каталога − 7459 записей время (примерно 20 лет) 60 Гб данных в таблицах Oracle / 55 Гб в текстовых файлах
- 6. • Оптимизатор: низкое качество генерируемого native SQL for Oracle • Низкая производительность на реляционных источниках высокой нагрузки и больших объемах • Большое количество материализованных представлений, рост времени ETL на их обновление, что приводит к выходу за допустимые временные рамки MICROSTRATEGY 8.01 (RELATIONAL OLAP)
- 7. ORACLE DISCOVERER 10G FOR OLAP (MOLAP) • Низкая производительность на больших объемах данных (измерение товар 1 млн. артикулов /740 строк планирования) • Медленная работа java-клиента Discoverer (при расчете вычисляемых агрегатов) • Отсутствие стандартизации
- 8. COGNOS BI (MULTIDIMENSIONAL OLAP) • Отсутствие parent-child деревьев (эмуляция за счет level-based деревьев => проблема отображения) • Отсутствие поддержки атрибутов измерений => эмуляция через измерения приводит к росту объема куба и времени обновления
- 9. ПРЕДЛОЖЕННОЕ РЕШЕНИЕ Oracle 10g (ХД) ETL Hyperion Essbase Oracle BI Server Oracle Dashboards Oracle Answers Oracle BI Publisher Oracle Delivers MS Office Hyperion Essbase Visual Explorer
- 10. ИЗМЕРЕНИЯ И ПОКАЗАТЕЛИ МНОГОМЕРНОГО ХРАНИЛИЩА • Измерения/иерархии: − Время (7459, григорианский календарь), 4 уровня (год, квартал, месяц, день) − Товар (1 200 000 артикулов) – 10 уровней, parent-child дерево − Каналы реализации/Объекты хранения (745 элемента) – 6 уровней, parent-child − Тип операции (10) • Атрибуты измерений: − Время – сезон, день недели, номер дня в неделе/месяце/сезоне/году − Более 10 атрибутов товара (цвет, размер, коллекция, ТМ, группа, направление, категория, подкатегория, тов.группа, тов.подгруппа, пол и т.д.) − Каналы реализации – площадь, тип, наименование, даты, проект, дивизион • Показатели: − Продажи/остатки в шт. и ценах (цена реализации, ррц, с/c) и валютах (рубли, у.е.) − Более 20 мер, включая расчетные «продажи на м2», GMROI и пр.
- 11. ПРИМЕРЫ ДЕРЕВЬЕВ В ИЗМЕРЕНИЯХ • Товары • Каналы реализации
- 12. БИЗНЕС-РЕЗУЛЬТАТЫ ПИЛОТНОГО ПРОЕКТА • Максимальная детализации до артикула товара (около 1 млн.) (артикул, магазин, день) • Скорость операций в пределах 5 секунд на полных данных • Сведение остатков и продаж в одном кубе/отчете • Получение регламентированных отчетов в удобном для работы online-виде (Oracle BI Publisher) • Произвольный анализ и визуальное создание отчетов в Hyperion Visual Explorer для продвинутого аналитика
- 13. ИТ-РЕЗУЛЬТАТЫ ПРОЕКТА • Построено компактное многомерное хранилище (<20 Гб) • Общее время полного построения куба – менее 1,5 часов • Время отклика на запросы <5 секунд для типичных операций, <10 cекунд для сложных фильтров • Хорошая масштабируемость модели: рост уровней деревьев не требует изменения модели • Поддержка атрибутов измерений, вычисляемые показатели на основе атрибутов измерений, несбалансированных parent-child деревьев
- 14. ORACLE BI EE: АНАЛИЗ ДАННЫХ ПРОДАЖ
- 17. VISUAL EXPLORER: АНАЛИЗ ОСТАТКОВ И ПРОДАЖ
- 19. АНАЛИЗ РЕАЛИЗАЦИИ ПО КАНАЛАМ ПРОДАЖ И ВРЕМЕНИ
- 20. ВЫВОДЫ • Проект успешно выполнен за 1 месяц • Достигнуты все бизнес- и ИТ-результаты • Компанией КРОК проведено обучение сотрудников Спортмастера (по итогам которого всеми получены официальные сертификаты Oracle Essbase Developer)
- 21. ОТЗЫВ КОМПАНИИ СПОРТМАСТЕР «Мы выбрали Oracle Hyperion из массы протестированных нами BI-решений. Как показал пилотный проект, мы не ошиблись. Уже сейчас можно говорить об эффективности работы новой технологии для витрин данных, которые мы будем создавать над нашим реляционным хранилищем. Мы планируем запустить систему в промышленную эксплуатацию, ее использование обеспечит распределение нагрузки и эффективное решение задач ассортиментного анализа коллекционного и потокового товара» ИТ-директор группы компаний «Спортмастер» Герман Алексеев
- 22. СПАСИБО ЗА ВНИМАНИЕ! Роман Удальцов КОНСУЛЬТАНТ ПО ВНЕДРЕНИЮ БИЗНЕС-ПРИЛОЖЕНИЙ КОМПАНИИ КРОК Тел: (495) 974 2274 E-mail: rudaltsov@croc.ru