Big data Must Life! от слов к действию
- 1. Big Data «от слов к действию» ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 25.11.2015 Костин Герард Владимирович
- 2. 2 Что такое Big Data? ____________________________________ »КОНФИДЕНЦИАЛЬНО» ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 СеминарБФИ2015.BigDataвМТС OLUME ARIETY ELOCITY • Петабайты и экзабайты данныхV V V • Возможность быстрой обработки и автоматизированных действий • Неструктурированные данные, любые источники данных BIG DATA – это объемы данных, которые превосходят возможности традиционных программных продуктов по сбору, хранению и анализу, на текущий момент либо не собираемые вообще, либо удаляемые из информационных систем компании. Освоение этих данных может принести компании новые возможности роста прибыли и эффективности. Термин, сильно разогретый маркетингом, зачастую в него вкладывается совершенно разное: инфраструктура, объем, или просто PR/presale…
- 3. 3 Big Data сегодня ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 Big Data Hype Cycle for Emerging Technologies, 2013 Hype Cycle for Emerging Technologies, 2015 Big Data ?
- 4. 4 Big Data – “Give — Take — Multiply*” ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 * - Gartner Symposium/ITXPO 2015
- 5. 5 Важен алгоритм извлечения ценности из данных ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 Algorithm
- 6. 6 Big Data – это прежде всего данные ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 DATA Algorithm Big Data Big Data Data
- 7. 7 Data Governance –инструмент извлечение ценности из данных ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 Внешняя среда
- 8. 8 Big Data: новый подход к работе с данными… СеминарБФИ2015.BigDataвМТС • Реализация аналитических систем под конкретные задачи • Работа со структурированными данными • Хранение только «нужных» данных, в разных местах для разных задач, преимущественно из внутренних источников компании • Переход к «коммунальной» архитектуре • Единое для всех пространство хранения данных разной природы (структурированных и нет, из внутренних и внешних источников) • Другой подход к реализации проектов и соответствующие компетенции и процессы внутри компании ____________________________________ »КОНФИДЕНЦИАЛЬНО» ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 От Compute centric… к Data centric…
- 9. 9 Какие данные есть в телекоме… ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 СеминарБФИ2015.BigDataвМТС Структурированные данные • Данные биллинга - звонки • Данные состояния сетевых элементов • Информация о местоположении • CDR/EDR • Данные состояния сетевых элементов для систем мониторинга • Справочные данные по сетевым элементам (Inventory) • Данные биллинга - абонентский профиль, действие над профилем • Обращения в call-центр и заявки, заведенные через личный кабинет • Данные по up-sell / cross-sell ( Next best offer), включая историю предложений и описание продуктовых корзин Неструктурированные данные • Записи звонков и текстов смс • E-mail абонентов • Данные социальных сетей • Данные постов форумов и блогов • Информация по посещаемым Web сайтам • Записи звонков в call- центр • Логи IVR • Разбор рукописных заявлений абонентов • Разбор результатов опросов абонентов • Профиль интересов - загружаемые видео/аудио/фото контент, предпочтительные приложения и характер потребления данного контента • Логи сетевых элементов, сервисных платформ, показатели измерительных датчиков на оборудовании
- 10. 10 Архитектура Big Data ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 СеминарБФИ2015.BigDataвМТС ? Идет конкурс по выбору Framework'а системы распределенной обработки данных Идет проект миграции КИХ на Teradata Все вендоры указаны исключительно в качестве примера Big Data «под ключ» не существует – необходимо самим конструировать свое решение CEP – complex event processing: Система аналитики и принятия решений на потоке данных в реальном времени
- 11. 11 Big Data требует новых функций в бизнесе BigData Product Menagment Data Scientist Data Governor Опрос Accenture по планам внедрения новых функциональных направлений в компаниях* * - По материалам Accenture «Big Success With Big Data» ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
- 12. 12 Из чего состоит Big Data в телеком отрасли Расширенные возможности клиентской аналитики Гео-локация и гео таргетирование Планирование и управление сетью Revenue Assurance and Fraud prevention ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4
- 13. 13 Принципиально новые подходы управления OSS/BSS ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 * - PREDICTIVE MAINTENANCE: BIG DATA ON RAILS (DATACONOMY.COM) * *
- 14. 14 Индивидуальный мониторинг качества(KPI) ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 Падения доходов, в следствии проблем с DATA сервисами у абонентов, можно отследить только по массовым проблемам на основании данных ежедневных начислений за DATA Возможности BigDATA: Рассчитывает KPI по качеству и доступности DATA для каждого абонента • Текущие системы мониторинга не считают качества с детализацией до абонента В режиме реального времени определяется объем недопотребленных DATA услуг для каждого абонента • Ранее можно было определить объем недопотребления только по массовым авариям – экспертно, с задержкой 3-5 дней. Определяется вероятная причина снижения доступности и качества DATA услуг (хранятся все логи) • Ранее определить причину можно было только если проблему ставили на трейс и она воспроизводилась вновь Некорректные настройки APN Проблемы с аутентификацией AAA Ошибки Provisioning Конфликт IP адресов абонентов Некорректная остановка RNC(отключение сразу всех RNC, а проведение работ только на 1 ) Вероятные проблемы:
- 15. 15 Контроль тарификации Real-Time ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 Существующие методы контроля тарификации не покрывают всех проблем и сложны в эксплуатации ( ручное тестирование, Параллельный биллинг, сверки) Основная цель нового подхода— Покрытие всего объема начислений алгоритмом выявлений ошибок рейтинга/биллинга Дополнительный результат: incomplete records (потеря части записей) Fraud (фрод на низком уровне) Ограничение существующих систем: единичные проверки начислений, проверки специально генерируемых тестовых событий Для анализа начислений возможно проводить сравнение с историческими данными: поиск аналогичных событий и анализ отклонений. Преимущества по сравнению с классической системой «параллельного биллинга»: меньшие требования к вычислительным ресурсам не требуется дополнительная интеграция с разнообразными источниками CDR экономия ресурсов — не требуется конфигурирования тарифов в системе верификации
- 16. 16 Проактивное предотвращение приостановки сервисов оператора ____________________________________ (место для грифа конфиденциальности) ОАО «Мобильные ТелеСистемы», г. Москва, ул. Марксистская, д.4 В большинстве случаев, превышение пороговых счетчиков OSS/BSS свидетельствует о уже произошедшей проблеме, которую можно было избежать. Возможности BigDATA: Сбор метрик и логов со всех узлов и систем OSS/BSS • Собираются только агрегированные данные нет возможности построить новую метрику по историческим данным Машинные алгоритмы определяют набор ключевых факторов, состояния систем (Feature Engineering) • Факторы определяются эмпирически исходя из общих счетчиков и спецификаций не учитываются взаимозависимости и скрытые связи Постоянно обучающийся машинный алгоритм предсказывает сбой за долго до появления заметного влияния на Mission Critical системы. • Проблема выявляется только после превышения счетчиков, когда влияние на Mission Critical системы уже присутствует Повышение дохода, за счет предотвращения перерыва в оказании сервиса Сокращение затрат на устранение сбоев Построение рекомендательной системы, на основе предыдущего опыта Эффективное планирование и исполнение регламентных работ Дополнительные возможности:
- 17. Вопросы?