Знакомство с виртуализацией данных для профессионалов в области данных
0 likes14 views
Документ описывает концепцию Data Mesh как новую архитектурную парадигму управления данными, которая переходит от централизованной к децентрализованной модели, где отдельные домены самостоятельно управляют своими данными. Основные проблемы, которые решает Data Mesh, включают узкие места в централизованных архитектурах, проблемы масштабируемости и качества данных. Кроме того, оно подчеркивает важность децентрализованного владения данными, самообслуживания и распределенного управления, предлагая платформенные решения, такие как Denodo, для поддержки этой модели.
Знакомство с виртуализацией данных для профессионалов в области данных
- 1. Знакомство с Виртуализацией Данных Для Профессионалов Алексей Сидоров Директор по Управлению Данными Главный Евангелист Denodo
- 3. 3 30 Лет Назад – Мир Данных Был Простым Опердень CRM ERP Хранилище Данных ETL Аналитика Отчетность
- 4. 4 Монолитная Архитектура : Поместите Все Данные в Одно … Хранилище Озеро Облако
- 5. 5 Трудности Монолитная Архитектура ▪ Ограничения централизованных команд: Централизованные команды по работе с данными не могут полностью понимать потребности в данных всех различных отделов, которым они обслуживают. ▪ Невозможность обслуживать разные отделы: Одна центральная платформа не может быть достаточно гибкой, чтобы удовлетворить требования разных отделов организации. ▪ Медленное предоставление данных: Централизованные платформы по своей природе жесткие, так как они настроены для выполнения стандартных операций по всей организации. В результате предоставление данных медленное и никогда не может быть в режиме реального времени или по запросу.
- 6. 6 Реальность : Данные Повсюду Несколько Хранилищ Несколько Озер Несколько Облаков
- 7. 7 Вопросы Расширение понимания Базовые Выгода от Данных Инновации Разные Данные для Разных Задач Данные Известные Неизвестные Известные Неизвестные --- ODS --- Data Warehouse --- Data Lake
- 8. 8 Облако A Облако B Современная Изоляция Данных Облачные Приложения ИИ/МО Отчеты Аналитика Хранилище Озеро Файервол
- 9. Data Mesh
- 10. 10 Точка Принятия Решения Ценность из данных Гибкость - время внедрения Устойчивость к изменениям Сложность бизнеса Новые источники данных Вариантов использования данных Влияние на Бизнес Масштаб Изменение в Подходе к Управлению Данными
- 11. 11 Альберт Эйнштейн Мера интеллекта - это способность меняться.
- 12. 12 Что Такое Data Mesh • Data Mesh - это новая архитектурная парадигма управления данными, предложенная Земак Дехгани в 2019 году. • Она переходит от централизованной инфраструктуры данных, управляемой одной командой, к распределенной организации. • Несколько автономных подразделений (доменов) отвечают за управление и предоставление своих собственных продуктов данных для остальной части организации. • Продукты данных должны быть легко находимыми, понимаемыми и доступными для остальной части организации.
- 13. 13 Проблемы Управления Данными, Решаемые Data Mesh • Централизованные узкие места: В централизованных архитектурах данных команды по инженерии данных часто становятся узкими местами для запросов. Data Mesh перераспределяет ответственность за управление данными на команды доменов, уменьшая зависимости и ускоряя доставку данных. • Проблемы масштабируемости: По мере роста организаций требования к данным растут в геометрической прогрессии. Доменно-ориентированный подход Data Mesh упрощает масштабирование, распределяя ответственность и позволяя командам доменов более эффективно управлять своими данными. • Качество данных и владение: Традиционные модели могут приводить к неясной владельческой структуре данных и низкому качеству данных. Data Mesh назначает командам доменов ответственность за качество данных в своих областях. • Медленная итерация и инновации: Централизованные архитектуры данных могут замедлять быструю итерацию и инновации из-за времени, необходимого на выполнение запросов и изменений данных. Data Mesh дает командам доменов возможность более быстро итерировать с использованием своих данных, что приводит к более быстрому развитию продуктов и принятию решений.
- 15. 15 Четыре Принципа Data Mesh 1. Децентрализованное владение данными, ориентированное на домены 2. Данные как продукт 3. Инфраструктура для самообслуживания как платформа 4. Распределенное Data Governance
- 16. 16 Данные как Продукт Зависимости Принципов Data Mesh Доменное Владение Распределенное Управление Платформа Самообслуживания Предотвращает Изолированность Проясняет Связи Между Доменами Уменьшает Стоимость Владения Надежное Соблюдение Политик Больше Ценности из Данных Значимость Команд Данных
- 17. 17 Децентрализованное Владение Данными, Ориентированное на Домены • Четкая ответственность: Каждый бизнес-домен или подразделение несет ответственность за данные, которые они создают и используют. Эта владельческая структура способствует чувству ответственности за качество, точность и полезность данных. • Экспертиза в домене: Команды, которые создают и понимают данные, наилучшим образом могут определить их семантику, контекст и соответствующее использование. Эксперты в домене внутри этих команд могут обеспечить соответствие данных конкретным потребностям бизнеса. • Снижение зависимости: Предоставив владение данными командам доменов, организация снижает свою зависимость от централизованных команд по инженерии данных в управлении всеми аспектами данных. Это приводит к более быстрым срокам реакции и большей гибкости в удовлетворении потребностей, связанных с данными.
- 18. 18 Данные Как Продукт • Ориентированность на потребителя: Продукты Данных разрабатываются и проектируются с учетом потребностей потребителей данных. Основное внимание уделяется пониманию требований и ожиданий тех, кто будет использовать данные для принятия информированных решений или получения инсайтов. • Четкая владельческая структура: Каждый Продукт Данных должен иметь четкую структуру владения в команде домена. Эта команда несет ответственность за проектирование, разработку, поддержание и обеспечение качества данных продукта. • Продуктизация: Данные не являются просто побочным продуктом процессов; они активно проектируются и упаковываются как потребительский продукт. Это включает в себя определение договоров по данным, метаданных, стандартов качества и механизмов доступа.
- 19. 19 Инфраструктура для Самообслуживания как Платформа • Усиление команд по данным: Команды по данным, включая доменные команды, инженеров данных и аналитиков, должны иметь возможность самостоятельно пользоваться инструментами, необходимыми для задач, связанных с данными. • Сервисы платформы данных: Предоставьте централизованную платформу данных, предлагающую набор сервисов, инструментов и ресурсов для управления данными, их обработки и анализа. Эти сервисы должны быть разработаны с учетом удобства пользователей без технических навыков. • Автоматизированное предоставление ресурсов: Обеспечьте автоматизированное предоставление ресурсов, таких как хранилище данных, вычислительные ресурсы и конвейеры обработки. Это сокращает время, необходимое для настройки и настройки сред обработки данных.
- 20. 20 Распределенное Data Governance • Автономное управление данными: Доменные команды управляют своими данными, включая сбор, хранение, обработку и обмен, согласно их уникальным потребностям и экспертизе. • Согласование управления: Несмотря на то, что каждое подразделение сохраняет свою автономию, они должны соблюдать общие стандарты управления данными, установленные организацией. • Сотрудничество и обмен: Федеративный подход не препятствует обмену данными. Напротив, он позволяет осуществлять междоменный обмен, сохраняя при этом контроль и владение на уровне домена. • Децентрализованное управление: Доменные команды имеют полномочия принимать решения по качеству данных, доступу, безопасности и соответствию в рамках своей ответственности.
- 21. Виртуализация Данных для Data Mesh
- 22. 22 Платформа Denodo Распределенные Разнородные Источники Данных Запрос SQL Push-Down Presto MPP Smart Caching Data Governance Role-Based Access ИИ/МО Отчеты Аналитика
- 23. 23 Denodo: ОДНА Логическая Платформа для Всех Ваших Данных Ease of Use Fast Query Response Integrated, Active Data Catalog Universal Connectivity Modern Data Services API Layer Dynamic Data Masking Automated Cloud Management Key Differentiators 83% reduction in time-to-revenue 67% reduction in data preparation effort 65% decrease in delivery times over ETL Source: Forrester Total Economic ImpactTM of Data Virtualization, 2021 Hybrid/ Multi-Cloud Security & Governance Al/ML Recommendations Advanced Semantics Data Catalog Discover / Explore / Document BI Tools SQL / MDX Data Science Tools Data as a Service RESTful / Odata GraphQL/ GeoJSON Files Cubes Cloud Stores Traditional DB & DW INTEGRATE MANAGE DELIVER Disparate data in any location, format or latency Related data with a universal semantic model and AI / ML functionality enabling vital data governance And democratize data using BI & data science tools, data catalogs, and APIs Data Lake & NoSQL Query Optimization & Acceleration
- 24. 24 BI Tools Data Science Tools Архитектура Платформы Denodo DATA CATALOG Discover - Explore - Document DATA AS A SERVICE RESTful / OData GraphQL / GeoJSON SQL CONSUMERS INTEGRATE disparate data in any location, format or latency MANAGE related data into views with universal semantic model DELIVER using BI & data science tools, data catalog, and APIs Self-Service Hybrid/ Multi-Cloud Query Optimization AI//ML Recommendations Security DATA INTEGRATION , MANAGEMENT, AND DELIVERY PLATFORM SOURCES 150+ data adapters Apps Streaming Data Governance SaaS Files OLAP Hadoop & NoSQL Cloud Stores Traditional DB & DW
- 25. 25 Denodo как Основа для Архитектуры Data Mesh • Интеграция и Федерация данных: Denodo позволяет создавать виртуальные представления данных из различных источников, даже если они расположены в разных местах. Это помогает поддерживать децентрализованное владение данными, интегрируя данные без физического перемещения или дублирования. • Представления данных, ориентированные на домены: Denodo может помочь создать виртуальные представления данных, ориентированные на конкретные домены. Каждая команда домена может создавать и управлять своими виртуальными представлениями данных, адаптированными к своим потребностям, с соблюдением стандартов управления данными и качества. • Самообслуживание доступа к данным: Возможности самообслуживания Denodo позволяют командам доменов получать доступ к данным через унифицированный интерфейс, снижая зависимость от центральных ИТ-команд для доступа к данным и задач интеграции.
- 26. 26 Denodo как Основа для Архитектуры Data Mesh • Каталог и Поиск данных: Denodo предоставляет репозиторий метаданных, который помогает документировать и описывать источники данных, трансформации и связи. Это может служить каталогом, который команды доменов могут использовать для поиска доступных данных и понимания их контекста. • Безопасность данных и Управление: Denodo предлагает функции безопасности, которые позволяют определять контроль доступа, шифрование и аудит для ваших виртуальных данных. Это помогает обеспечивать соблюдение требований к управлению данными и безопасности, обеспечивая децентрализованный доступ к данным. • Сотрудничество и Обмен данными: Denodo может обеспечивать контролируемый обмен виртуальными представлениями данных между командами, поддерживая сотрудничество между доменами и при этом сохраняя автономию каждого домена.
- 27. 27 Домены Данных Интеграци я Управлени е Доставка Компания Продукт Локация Сотрудник Клиент Продажи Кадры Прода жи Финан сы Марке тинг Локация Клиент Продажи Компания Клиент Продукт Локация Сотрудник Данные в Разрозненных Приложениях Безопастность Данных Самообслуживание AI/ML Reports Self-Service Архитектура Data Mesh На Основе Виртуализации Данных Распределе нная Data Governance
- 28. 28 Восточная пословица Красивый букет получается из разных цветов.
- 29. Спасибо! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies. Алексей Сидоров asidorov@denodo.com +971 56 625 3066 +7 915 185 5562