2 sap v1_do_как big_data меняет бизнес
- 1. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 1 Как BigData меняет бизнес Вадим Табаков Big Data & Technology, SAP 20.04.2015 Фото: http://sport.mail.ru/foto/218865/188116/
- 2. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 2 Как BigData меняет бизнес Вадим Табаков Big Data & Technology, SAP 20.04.2015 Фото: http://sport.mail.ru/foto/218865/188116/ Как, BigData меняет бизнес?
- 3. © 2013 SAP AG. All rights reserved. 3 PhD в гаражном боксе
- 4. © 2013 SAP AG. All rights reserved. 4 Доли секунды
- 5. © 2013 SAP AG or an SAP affiliate company. All rights reserved. 5 Animus ex machina? 1. Анализировать все данные, а не довольствоваться их частью или статистическими выборками 2. Иметь дело с неупорядоченными данными в ущерб точности 3. Доверять корреляциям, а не гнаться за труднодостижимой причинностью
- 6. Big Data – группа технологий и методов производительной обработки динамически растущих объемов данных (структурированных и неструктурированных) в распределенных информационных системах, обеспечивающих организацию качественно новой полезной информацией. Big Data с точки зрения ИТ-компании
- 7. Инструменты для работы с Big Data In-Memory СУБД1 2 4 СУБД с вертикальным хранением данных MAP REDUCE и HADOOP Data Mining и прогнозная аналитика3 5 Управление потоками событий 6 No SQL СУБД
- 8. SAP HANA Data Platform для Big Data Consume Store & Process Ingest
- 9. © 2014 SAP AG or an SAP affiliate company. All rights reserved. 9Public программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных «In-memory» HANA (High-performance ANalytics Appliance) –
- 10. Что такое SAP HANA HANA (High-performance ANalytics Appliance) – программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных «In-memory» SAP HANA OLTP BI (OLAP) ■ Данные хранятся и обрабатываются непосредственно в оперативной памяти ■ «In-memory» позволяет избежать эффекта задержек ввода/вывода ■ Строчное и колоночное хранение данных позволяют оптимизировать выборку по запросу ■ Сжатие данных за счет хранения и обработки только значимого содержимого ■ Поставляется как единый программно- аппаратный комплекс
- 11. SAP HANA HANA
- 12. Помним, да?
- 13. Диск VS Оперативная память Доступ к оперативной памяти – 60 нс, скорость чтения 25 Гб/c Доступ к диску – 10,000,000 нс, скорость чтения 0.07 Гб/с 3 606 км
- 14. SAP HANA CPU STORAGE MEMORY Compression Partitioning No Aggregate tables (Dynamic Aggregation) Solid State Flash HDD 64bit address space 1 TB in current servers Dramatic decline in price/performance L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache Multi-Core Architecture 8 CPU x 10 Cores per blade Massive parallel scaling with many blades Logging and Backup OLTP+OLAP in column Store
- 15. Вертикальное хранение данных Order Country Product Sales 456 France corn 1000 457 Italy wheat 900 458 Italy corn 600 459 Spain rice 800 456 France corn 1000 457 Italy wheat 900 458 Italy corn 600 459 Spain rice 800 456 457 458 459 France Italy Italy Spain corn wheat corn rice 1000 900 600 800 СУБД с построчным хранением СУБД с вертикальным хранением Single-scan aggregation: SELECT Country, SUM(sales) FROM SalesOrders WHERE Product=‘corn’ GROUP BY Country Single-record access: SELECT * FROM SalesOrders WHERE Order = ‘457’
- 16. SAP HANA CPU STORAGE MEMORY Compression Partitioning No Aggregate tables (Dynamic Aggregation) Solid State Flash HDD 64bit address space 1 TB in current servers Dramatic decline in price/performance L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache L3 Cache Multi-Core Architecture 8 CPU x 10 Cores per blade Massive parallel scaling with many blades Logging and Backup OLTP+OLAP in column Store
- 17. Backup and Recovery Savepoint: Save to disk (data area) 1 COMMIT Log file is saved to disk (log area) 2 Power failure 3 Time Time ABC
- 18. © 2013 SAP AG. All rights reserved. 18 Время формирования отчетов снизилось с 3 часов до 16 секунд Своевременная поставка необходимого материала снизила число коллизий, связанных с недостатком материалов на складе Постоянное наличие нужного количества материалов повышает эффективность 20000 скважин Экономия миллионов евро в год Анализ материальных запасов
- 19. © 2013 SAP AG. All rights reserved. 19 Анализ материальных запасов
- 20. © 2013 SAP AG. All rights reserved. 20 Анализ прибыльности сегментов с нужным уровнем детализации: корректное разнесение затрат на объекты потенциал увеличения прибыльности за счет аналитики Увеличение точности расчетов для обоснования тарифа позволит получать субсидии в необходимом объеме Возможность корректного распределения затрат на статьи бюджета (например, отделение затрат на ремонты от затрат на перевозки) Распределение и анализ затрат на уровень балансовых единиц Избежание штрафов за несвоевременную сдачу отчетности Общее время распределения по видам деятельности и по территориям в системе снизилось с 14,5 часов доя 23 минут Распределение по видам деятельности
- 21. Прогнозная аналитика и персонификация Разные предложения Разные каналы Предложение 2 Интернет Готов к оттоку Предложение 1 Традиционные Готова для предложения 1 Предложение 3 Социальные сети Уже получила предложение и сказала «нет». Миллионы клиентов ? В каждый момент знаем что делать с каждым клиентом и каким образом это с ним делать.
- 22. Лучше понять своих клиентов! SAP MAKES BIG DATA REAL
- 23. • “Новые бизнес-модели пока не могут возместить потерю доходов традиционных СМИ” • “Программное обеспечение обновляется быстрее, чем устанавливается” • “Крупных и надежных решений, способных заменить или удержать рекламные деньги и читательскую плату, так и нет” • “Серьезная журналистика не делается ради денег” • “Нам ничего не известно о моральных стандартах тех, кто размещает свои посты в Фейсбуке” • “Интернет есть, а счастья денег нет” Пример из медиа: а где же деньги счастье?
- 24. © 2013 SAP AG. All rights reserved. 24 Allociné: Сайт база данных кинофильмов • Повысить доходы от рекламы • Повысить количество просмотров страниц • Повысить добавленную стоимость персональных рекомендаций по фильмам
- 25. © 2013 SAP AG. All rights reserved. 25 Как это работает Идентифицированный пользователь Рекомендации по поведению схожих («связанных») пользователей Персонализированные письма Индивидуальные рекомендации по всей истории просмотров Не идентифицированный пользователь Запрос страницы с фильмом Рекомендации по схожести фильмов (similarity)
- 26. © 2013 SAP AG. All rights reserved. 26 Микро-сегментация клиентов 2 клиента связаны если они : • смотрят одинаковые фильмы • или покупают в одних и тех же местах • или посещают одинаковые страницы Действия: Связанные клиенты образуют «сообщества» Предложить клиенту продукты, популярные в его «сообществе» Bipartite Graph Client 1 Product 1 Client 2 Client 3 Client 4 Product 2 Product 3 Product 4 Client 4 Client 1 Client 2 Client 3 2 1 1 Микросегменты клиентов 2 Product 3 Product 2 Product 1 Product 4 1 Микросегменты продуктов
- 27. © 2013 SAP AG. All rights reserved. 27 В чем заключается конверсия Dogs Clint Eastwood Comedy Clint Eastwood Boxing Veteran Sylvester Stallone
- 28. © 2013 SAP AG. All rights reserved. 28 Allociné: Сайт база данных кинофильмов • Персонализация 220 миллионов страниц в месяц • Рекомендации для неавторизованных пользователей на основании «схожести» фильмов • Рекомендации для идентифицированных пользователей на основании «схожести» рейтингов • Увеличение доходов от рекламы на 9% за счёт повышения количества просмотров на визит
- 29. © 2013 SAP AG. All rights reserved. 29 Продуктовая сегментация • Среди связанных продуктов, можно выделить устойчивые группы продуктов (фильмов, пакетов), связанных между собой общими потребителями • Такие группы представляют собой типичные «корзины», или модели поведения покупателей.
- 30. Hadoop – проект фонда Apache Software Foundation, свободно распространяемый набор утилит, библиотек и программный каркас для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов. HADOOP – кто это???
- 31. © 2013 SAP AG. All rights reserved. 31 Интеграционная модель SAP HANA Визуализация и прогноз Журналы Неструктурированные данные Загрузка данных для предобработки Загрузка результатов в SAP HANA SAP IQ (Data Services) Федерация запросов Smart Query Access (Data Virtualization) SAP IQ Интеграция на уровне ETL Data Services предоставляет прямой доступ к Hadoop: SAP Data Services генерируют и выполняют инструкции HiveQL для запроса, выборки и загрузки данных в таблицы Hive. Анализ выполняется непосредственно в HDFS как задания модели MapReduce ETL непосредственно в SAP IQ Прямой доступ к Hadoop Виртуальные таблицы (SAP HANA smart data access) Интеграция с HCatalog Федерация запросов с SAP IQ SAP BI доступ Доступ SAP BOBJ напрямую к Hadoop HIVE через JDBC
- 32. Ценность Hadoop заключается в том, чтобы создать репрезентативную выборку из гигантских объемов первичных данных и затем передать эту выборку для оперативной обработки в SAP HANA (яркий пример – сборка генома) Ценность Hadoop + SAP HANA
- 33. © 2013 SAP AG. All rights reserved. 33 Требования Повышение эффективности процесса принятия решений при диагностике и лечении раковых заболеваний Снижение временных и денежных затрат на исследования и разработку новых лекарственных препаратов Технические сложности Существующая архитектура R и Hadoop не полностью удовлетворяет условиям работы с Big Data Медленная скорость обработки данных замедляет процесс сборки генома Полученные преимущества Снижение времени сравнения ДНК и повышение качества терапии SAP HANA предоставляет повышение скорости корреляционного анализа Фармацевтические компании получают возможность своевременно проводить необходимые исследования и синтезировать новые препараты Собрать геном
- 34. © 2013 SAP AG. All rights reserved. 34 Функциональная архитектура SAP HANA Результаты исследований биоматериала Сбор и предварительная обработка, консолидация информации Анализ полученных фрагментов и восстановление последовательностей ДНК хромосом
- 35. © 2013 SAP AG. All rights reserved. 35 Ускорение сборки генома в 216 раз
- 36. © 2013 SAP AG. All rights reserved. 36 Требования Повышение эффективности процесса принятия решений при диагностике и лечении раковых заболеваний Снижение временных и денежных затрат на исследования и разработку новых лекарственных препаратов Технические сложности Существующая архитектура R и Hadoop не полностью удовлетворяет условиям работы с Big Data Медленная скорость обработки данных замедляет процесс сборки генома Полученные преимущества Снижение времени сравнения ДНК и повышение качества терапии SAP HANA предоставляет повышение скорости корреляционного анализа Фармацевтические компании получают возможность своевременно проводить необходимые исследования и синтезировать новые препараты Для справки
- 37. © 2013 SAP AG. All rights reserved. 37 Управление потоками событий SAP Event Stream Processor Входные потоки Рыночная аналитика Записи о транзакциях Телеметрические датчики Средства анализа/отчетности Прикладные системы Средства разработки Эталонные данные SAP HANA, SAP IQ Инфопанели Потоковый вывод
- 38. © 2013 SAP AG. All rights reserved. 38 Игра в материальном мире
- 39. © 2013 SAP AG. All rights reserved. 39 В ходе игрового процесса генерируется более 5000 различных пользовательских событий в секунду, составляющих объем порядка 0,5 Тб данных. Эти события требуют мгновенной обработки, и для поддержания атмосферы реального времени используются преимущества технологий SAP HANA и SAP Event Stream Processor. Игра в материальном мире
- 40. © 2013 SAP AG. All rights reserved. 40 World Cup in Brazil SG Hoffenheim, футбольный клуб первого дивизиона Германии, использует сбор и анализ данных в реальном масштабе времени: изучаются пространственные перемещения игроков, чтобы сделать тренировки эффективнее. Футболисты экипируются датчиками, они же есть в мяче. Все сведения поступают на вход аппаратно-программного комплекса SAP HANA. Похожая система готовится для немецкой национальной сборной. «Речь идет не о прогнозировании результатов, а о повышении возможностей команды. Такая же картина рисуется в бизнесе, и связана она с ростом эффективности на основе анализа данных: если вы обращаетесь к интуиции, а не фактам, легко прийти к неверным выводам». Джим Хагеман Снейбе, соисполнительный директор SAP
- 41. © 2013 SAP AG. All rights reserved. 41 Мониторинг состояния паровых котлов ESP 5.1 SP1 Oracle Oracle RS (Replication Server) 15.7.1 HANA 1.0 RA#1 15.7.1 RA#2 15.7.1 HP-UX System: ECD ORACLE 10.2.0.5 SLES 11SP2, x64 RAM 16GB, 4 CORE SLES 11SP2, x64 RAM 8GB, 4 CORE SLES 11SP1, x64 RAM 128GB, 32 CORE Windows 2008, x64 RAM 16GB, 4 CORE Windows 2008 x64 RAM 32GB, 8 CORE HANA output adapter SOI2 adapter RS adapter
- 42. Стратегия – это плановый документ, определяющий направление «главного удара» в развитии организации и формирующий ее качественно новое будущее состояние (в горизонте планирования 3-5 лет) относительно ее роли и места в расстановке отраслевых сил и создания ее новой рыночной стоимости. Big Data как часть корпоративной стратегии
- 45. Let’s Do IT Вадим Табаков Менеджер по развитию направления Big Data&Technology SAP CIS к.э.н. +7 495 755 9800 +7 967 132 5871 vadim.tabakov@sap.com
- 46. © 2013 SAP AG. All rights reserved. 46 1. Электронная торговая площадка 2. Анализ кредитоспособности 3. Управление рисками ликвидности 4. Brand Analytics 5. Расчет нормативов по достаточности капитала 6. Распознавание и идентификация по изображению Финансовые организации
- 47. © 2013 SAP AG. All rights reserved. 47 1. Управление сбытом 2. Поддержка систем горнотранспортного комплекса 3. Управление энергосбережением 4. Ремонты по состоянию (Predictive Maintanance) 5. Ситуационный центр Металлургия и добывающая промышленность
- 48. © 2013 SAP AG. All rights reserved. 48 1. Сбыт в рознице (АЗС) 2. Оценка экономической эффективности месторождения 3. Digital Oil Field – Монитор бурения 4. Оценка экономической эффективности инноваций 5. Ремонты по состоянию (Predictive Maintanance) Нефтегазовая промышленность
- 49. © 2013 SAP AG. All rights reserved. 49 1. Прогноз Социально-Экономического развития 2. Централизованное хранилище данных электронного бюджета 3. Система видео-контроля мигрантов 4. Ситуационный центр выявления угроз Национальной безопасности 5. Выявление мошенничества в налоговой сфере Государственный сектор
- 50. © 2013 SAP AG. All rights reserved. 50 1. Прогнозирование спроса и планирование ассортимента 2. Поддержка мероприятий по продвижению товаров 3. Управление товарными запасами дистрибутора в реальном времени 4. Оптимизация использования торговых площадей Оптимизация использования торговых площадей Предсезонное планирование Розничная торговля
- 51. © 2013 SAP AG. All rights reserved. 51 1. Слияние биллинговых систем 2. Хранилище данных с телекоммуникационной моделью 3. Управление лояльностью абонентов 4. Превентивная диагностика Телекоммуникации
- 52. © 2013 SAP AG. All rights reserved. 52 1. Электроэнергетическая система с интеллектуальной сетью 2. Мониторинг технического состоянии электронно-сетевого оборудования 3. Оперативный мониторинг и прогнозирование 4. Поддержка системы управления режимами энергосистемы Энергетика
- 53. © 2013 SAP AG. All rights reserved. 53 1. Контроль дислокации и выполнения графиков 2. Планирование расписания грузоперевозок 3. Железнодорожный транспорт Учёт расхода дизтоплива Контроль/мониторинг состояния активов Мониторинг поведения пассажиров 4. Авиа транспорт Определение срока прибытия воздушного судна Диагностика работы авиационных двигателей на лету Мониторинг состояния покрытия ВПП Транспорт