![Решения IBM для современного архива
DS
Storwize[Unified]
TS
Tivoli Storage Manager
Data Replication
Optim
Guardium
Data Explorer
FileNet
OmniFind
Infosphere
MDM
Atlas eDiscovery Id & Collection
Policy Assessment
Content Collector
for SAP
for e-mail
for
file systems
…
Pure Data for Hadoop](https://image.slidesharecdn.com/ibs-141114015212-conversion-gate01/85/IBS-at-IBM-Fast-Data-Moscow-2014-17-320.jpg)
IBS at IBM Fast Data (Moscow, 2014)
- 2. Андрей Николаенко, IBS, архитектор Современный архив корпоративного уровня с использованием решений IBM
- 3. Процессо-и датацентричность Что в первооснове ИТ – данныеили вычисления? •Вопрос диалектический •Каждые 15 лет маятник колеблется в противоположную сторону •Пакетная обработка •Интерактивные системы •Unix 1965 – 1980 •Реляционные СУБД •ERP (idefix«одна база») •CASE •Data-driven architecture 1980 – 1995 •«Компьютер –это сеть» •Сервис- ориентированная архитектура •Виртуализация •Облачные вычисления 1995 – 2010 •Логическое хранилище данных •Большие данные •Data Governance 2010 –…
- 4. Data Governance Управление жизненным циклом данных Управление хранениемданных Управление логистикой и качеством данных –дисциплинацентрализованногоуправленияданнымивцифровойформекакключевымактивоморганизации
- 5. «Проводники» Data Governance Источник: Forrester Wave: Data Governance Tools, Q2 2014 Разработчики платформ управления данными (MDM, ETL, EL-T, CDC) Разработчики платформ BI и аналитики Разработчики платформ управления метаинформацией Разработчики решений по управлению качеством данными Разработчики систем управления контентом Разработчики систем объектных архивов По «происхождению»:
- 6. Уровни проявления Data Governance Инфраструктура… Платформы MDM ETL, DQ CDC DLM/ILM ECM Records mgmt … Приложения Из приложений выделяются функции управления данными и передаются соответствующим общим платформенным сервисам
- 7. Инфраструктура Разные устройства, разные скорости, точка принятия решений –одна Вместе с этапами жизненного цикла –данные перемещаются по разным типам хранения Блочное хранилище Объектное хранилище Интенсивный ввод-вывод Классические файловые системы Долгосрочный архив Групповой контент Медиа под доставку Машинные потоковые данные Машинный контент
- 8. GUID Метаинфо Содержимое…… опциональная георепликация Геозона1… Сервис геоперенаправления Сервис геодоставки Классификатор механизма хранения Object Storage API M/R API CIFS NFS Torrent WebDAV NoSQLDB BigDataкак сервис File sharing Media Library ECM Archive Геозонаn REST
- 9. Объём и структура цифровых архивов 0 50 100 150 200 250 300 350 2010 2011 2012 2013 2014 2015 Объём мировых ресурсов архивного хранения, ЭБ Файлы, объекты СУБД Электронная почта Источник: Enterprise Strategy Group. Digital Archive Market Forecast, 2010–2015
- 10. Архивирование и резервирование Транзакционные приложенияРезервное копированиеОбъектно- контентный архив Независимый от приложений и их версий формат Сохранение значимой информации Возможность восстановления в приложениях Контрольные суммы, неизменность Свёртка данных в контент(отчёты) Сохранение метаинформации как атрибутов Индексация, адресация по содержимому Сохранение ЭП pdf, xls, doc, … XML, JSON Dump, redo-log
- 11. Сегмент рынка: архивирование структурированных данных и консервации приложений Источник: Gartner Magic Quadrant for Structural Data Archiving and Application Retirement, June 2014
- 12. Типичный путь к единому архиву структурированных данных •Ежегодно каждый экземпляр каждого приложения (экземпляра филиала) целиком копируется в «тёплый» резерв •В основных экземплярах исторические данные вычищаются Отслоение исторических экземпляров •Рядом с каждым экземпляром каждого приложения создаётся электронный архив •Перед вычисткой исторических данных из основного экземпляра, данные сериализуютсяв локальный архив Локальные архивы •Создаётся единый центральный электронный архив •Перед вычисткой исторических данных из основного экземпляра, данные поднимаются и сериализуютсяв центральный архив Центральный архив
- 13. Отслоение исторических экземпляров 2008 2009 2010 2011 2012 2013 Снимается полная копия базы и (текущая) версия приложения Удаляются данные “дата < год –3” Ёмкость (год) = (Vср×(1+прирост)×(год –2010)) ×N
- 14. Приложение 1 Локальные архивыАрхив приложения 1 ECM СУБД Сервер приложений Шина сообщений Аппаратные серверы Система хранения данных
- 15. Центральный архив Экономика •Снижение стоимости хранения маловостребованных(исторических) данных Функциональность •Возможность однократной реализации функций управления жизненным циклом Эксплуатация •Единая точка обслуживания и эксплуатации Безопасность •Централизация функций управления правами доступа Эффект масштаба •Возможность использования серийных горизонтально масштабируемых решений Эффект концентрации •Станадратизацияуровней обслуживания •Сосредоточение функций контроля и аудита
- 16. Функции, централизуемые в архиве Единая пользовательская навигация по документам всех приложений Во многих случаях для получения информации не будет необходимости даже заходить в приложения Унифицированная визуализация документов В приложениях отпадает необходимость в значительной части «отчётов по операции», «отчётов по документу» Пользовательский информационный поиск Атрибутный и контекстный поиск Нет необходимости реализовывать в приложениях Межсистемный информационный обмен Во многих случаях будет достаточно послать GUID архивного документа вместо пересылки содержимого Глубинный анализ над всем массивом данных Выявление аномалий Data Mining Глубинное обучение Контент-анализ Технологии «больших данных» Электронная подпись Единый механизм подписания Универсальная валидация
- 17. Решения IBM для современного архива DS Storwize[Unified] TS Tivoli Storage Manager Data Replication Optim Guardium Data Explorer FileNet OmniFind Infosphere MDM Atlas eDiscovery Id & Collection Policy Assessment Content Collector for SAP for e-mail for file systems … Pure Data for Hadoop