Создание географически-распределенных датацентров на базе инженерных систем
1 like1,024 views
Документ представляет введение в Oracle GoldenGate, решение для интеграции данных в реальном времени, которое представляет собой стратегический продукт для репликации и миграции данных между гетерогенными системами с минимальной нагрузкой. Он описывает функционал, архитектуру и преимущества использования GoldenGate, в том числе поддержку различных платформ и возможность безостановочной миграции данных. Также приводятся примеры успешной реализации в различных областях, доказывающие высокую производительность и надежность решения.
Создание географически-распределенных датацентров на базе инженерных систем
- 1. <Insert Picture Here> Введение в Oracle GoldenGate:Интеграция данных в реальном времени Александр Рындин Старший консультант
- 2. Agenda • • • • • • Введение в Oracle GoldenGate GoldenGate для распределенных центров GoldenGate и ODI для распределенных центров GoldenGate для безостановочной миграции Технические подробности Вопросы&Ответы
- 3. Oracle Data Integration SolutionBest-inclass Heterogeneous Platform for Data Integration Oracle Applications Custom Applications MDM Applications Business Intelligence Activity Monitoring SOA Platforms Comprehensive Data Integration Solution SOA Abstraction Layer Process Manager Service Bus Data Services Data Federation Oracle Data Integrator Oracle GoldenGate Oracle Data Quality ELT/ETL Real-time Data Data Profiling Data Transformation Log-based CDC Data Parsing Bulk Data Movement Bi-directional Replication Data Cleansing Data Lineage Data Verification Match and Merge Storage Data Warehouse/ Data Mart OLTP System OLAP Cube Flat Files Web 2.0 Web and Event Services, SOA
- 4. Ключевые интеграционные продукты • Real Time Data Replication • Changed Data Capture • DBMS High Availability • Disaster Tolerance • Heterogeneous E-LT & ETL • High-speed Transformations • OLAP Data Loading • Data Warehouse Loading • Comprehensive Integration • ELT/ETL for Bulk Data • Service Bus • Process Orchestration • Human Workflow • Data Grid • Data Service Modeling • XQuery Data Federation • Data Security/Redaction • XA Compliance • Business Data / Metadata • Statistical Analysis • Time Series Reporting • Integrated Data Quality • Cleansing & Parsing • De-duplication • High Performance • Integrated w/ODI
- 5. GoldenGate – стратегическое решение для Oracle Лучшее в своем классе решение • Лидирующее решение в области интеграции и репликации данных в реальном времени • Более 2000 клиентов с 8,000+ внедрениями в финансовом секторе, связи, медицине, госсекторе, ритейле и коммуникациях: • Top 3 из 5 крупнейших коммерческих банков • Top 3 из 3 самых нагруженных ATM сетей • Top 7 из 10 компаний финансового сектора • Top 4 из 5 телекоммуникационных провайдеров • Top 3 из 5 крупнейших продовольственных и аптечных сетей
- 6. Что такое Oracle GoldenGate? Oracle GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой Ключевые отличия: Производительность Не нарушаем работу, минимальное влияние, задержки меньше секунды Гибкость и расширяемость Открытая, модульная архитектура – поддержка гетерогенных источников и целей Надежность Транзакционная целостность – устойчиво к прерываниям работы и сбоям
- 7. Oracle GoldenGate – единая платформа
- 8. Oracle GoldenGate гетерогенная поддержка Базы данных O/S и платформы Сбор: Oracle ▪ DB2 ▪ Microsoft SQL Server (+2008, 2012) ▪ Sybase ASE ▪ Ingres ▪ Teradata ▪ Enscribe ▪ SQL/MP ▪ SQL/MX ▪ MySQL ▪ JMS очереди ▪ Применение: ▪ Вышеперечисленные плюс: TimesTen, Netezza, Greenplum, HP ▪ ETL продукты ▪ JMS очереди ▪ Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/OS
- 9. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Captur e Source Oracle & Non-Oracle Database(s ) LAN/WAN Internet Target Oracle & Non-Oracle Database(s )
- 10. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Captur e Source Oracle & Non-Oracle Database(s ) Trail LAN/WAN Internet Target Oracle & Non-Oracle Database(s )
- 11. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Pump: передает данные на целевую систему Captur e Source Oracle & Non-Oracle Database(s ) Trail Pump LAN/WAN Internet Target Oracle & Non-Oracle Database(s )
- 12. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Pump: передает данные на целевую систему Маршрутизация: данные могут быть сжаты и зашифрованы при передаче Captur e Trail Trail Pump LAN/WAN Internet TCP/IP Source Oracle & Non-Oracle Database(s ) Target Oracle & Non-Oracle Database(s )
- 13. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Pump: передает данные на целевую систему Маршрутизация: данные могут быть сжаты и зашифрованы при передаче Delivery: применяет данные с транзакционной целостностью Captur e Trail Trail Pump Delivery LAN/WAN Internet TCP/IP Source Oracle & Non-Oracle Database(s ) Target Oracle & Non-Oracle Database(s )
- 14. Как работает Oracle GoldenGate Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Pump: передает данные на целевую систему Маршрутизация: данные могут быть сжаты и зашифрованы при передаче Delivery: применяет данные с транзакционной целостностью Captur e Trail Trail Pump Delivery LAN/WAN Internet TCP/IP Source Oracle & Non-Oracle Database(s ) Двунаправл енная Target Oracle & Non-Oracle Database(s )
- 15. Топологии Oracle GoldenGate Однонаправленная Перенос нагрузки на чтение Трансляция Распространение данных Двунаправленная Live Standby или Active-Active for HA Интеграция/консолидация Хранилище данных Peer-to-Peer Балансировка нагрузки с несколькими главными Каскадирование Data Marts
- 16. Oracle Management Pack for Oracle GoldenGateПростое управление решением Oracle GoldenGate • Управляет, формирует, конфигурирует и отслеживает компоненты Oracle GoldenGate • Ключевые особенности: • Централизация управления модулями GoldenGate • Rich-client и Web-based интерфейс • Отслеживает работу в реальном времени • Не влияет на работу
- 17. Comparison of Data Acquisition Methods Attribute Batch Scripts SQL Query Database Triggers Oracle GoldenGate Latency Hours HoursMinutes Minutes Sub-seconds Data Volume Medium Low Low High Processing Overhead Very High 20-50+% High 15-20% Medium-High 10-15% Low 1-3% Transaction Integrity No No No Guaranteed Transformations Intermediate Basic Basic Basic supplemented with ODI EE Implementation Complexity & Risks Medium Medium to High High Low Data Recoverability Medium Poor Poor Full Management Overhead Medium Medium High Low
- 18. GoldenGate и Data Guard Heterogeneou s Distributed Fully-active Subset Replicas Oracle GoldenGate Oracle Active Data Guard Oracle DB Primary Oracle DB Standby • Для распространения информации & консолидации, обновлений & изменения приложений • Используйте GoldenGate - гетерогенный, active-active, преобразования, подмножество • Для восстановления после сбой / Защиты данных / HA • Простая полная защита Oracle Database • Используйте Active Data Guard • Гибкое HA, active-active, изменения схемы, изменение платформы • Используйте GoldenGate • Для лучшей защиты и распространения данных используйте оба продукта
- 19. Agenda • • • • • • Введение в Oracle GoldenGate GoldenGate для распределенных центров GoldenGate и ODI для распределенных центров GoldenGate для безостановочной миграции Технические подробности Вопросы&Ответы
- 20. Oracle GoldenGate для Oracle DatabaseПовышаем ROI на существующих серверах и синхронизация данных по всему миру • •Используем вторичные системы для транзакций • Нет остановки в случае запланированного или незапланированного останова • Синхронизация данных между датацентрами по всему миру
- 21. Пример клиента: Research in Motion (RIM) Глобальная интеграция данных и высокая доступность • Каждая фабрика должна приспосабливаться к производству новых устройству и планировать загрузку в зависимости от производства на других фабриках • Фабричные системы должны быть доступны в режиме 24x7, чтобы работать на глобальном рынке Oracle GoldenGate Oracle RAC Oracle Exadata Решение • Перенос данных о производстве во многих направлениях менее чем за секунду • Позволяет транзакциям приложения быть распределенным по нескольким базам данных • Поддержка 24*7*365 глобального процесса с точными и надежными данными • Перенос операционной отчетности на Oracle Exadata для повышения производительности OLTP
- 22. Oracle для хранилищ данных в реальном времениВысочайшая скорость интеграции данных в реальном времени, Высочайшая скорость пакетной трансформации BI Application Real-time streaming of transactions tx6 Production OLTP Databases • • • • • tx5 Source Trail Capture tx4 tx3 LAN / WAN / Internet tx2 ODI tx1 Target Trail Deliver Задержка данных менее секунды Минимальная доп. нагрузка, нет пакетного окна Высокая скорость, преобразования в базе данных Согласованные на чтения данные, ссылочная целостность Полная восстановимость данных с помощью Trail файлов DW
- 23. Agenda • • • • • • Введение в Oracle GoldenGate GoldenGate для распределенных центров GoldenGate и ODI для распределенных центров GoldenGate для безостановочной миграции Технические подробности Вопросы&Ответы
- 24. Oracle GoldenGate and Oracle Data IntegratorNon-invasive Data Capture with E-LT Micro-Batch Processing Application Real Time BI (using Data Copy) Analytic BI (Facts & Dims) Consistency Window Oracle GoldenGate Oracle Data Integrator Auto-Generate Data Lineage BI Tools Metadata
- 25. Задачи проекта миграции Архитектура как есть Архитектура как должно быть • Пошаговая, безостановочная миграция в течение длительного времени (оценочно 1,5 года). • Работа в режиме Active – Active (6 М транзакций в день, пиковая нагрузка 2 М транзакций в час). • Различные платформы и различные версии СУБД. • Различные структуры баз данных. Требуются преобразования простых типов, а также BLOB, CLOB, XML.
- 27. Физическая архитектура решения RH 5.8 CPU 8 RAM 12GB HDD 1.5 TB Solaris 11.1 CPU 2х16 RAM 2x96GB HDD 1.2 TB disks group
- 28. Результаты тестирования Функциональной тестирование: пройдено 100% • Трансформация структуры. • Агрегация • Изменение типа данных. • Регулярные выражения. • Корректность преобразования русскоязычных символов. • Корректность наложения фильтрации на реплицируемые данные. • Захват изменений с двух нод кластера. Нагрузочное тестирование: 20-ти кратная нагрузка Кол-во строк Разбор GG мин. Разбор ODI мин. Нагрузка Система 3-х кратная V3 5 000 000 11 34 V4 2 000 000 12 142 20-ти кратная V3 31 000 000 29 126 V4 16 000 000 31 211
- 29. Agenda • • • • • • Введение в Oracle GoldenGate GoldenGate для распределенных центров GoldenGate и ODI для распределенных центров GoldenGate для безостановочной миграции Технические подробности Вопросы&Ответы
- 30. Состояния недоступности Исключить все остановы для Постоянной Доступности Доступен – нет проблем • Полу-доступен • Запланированны й останов • Проблемы с производитель ностью • Обновление • Миграция • Поддержка • Незапланированный останов • Сбой системы • Сбой данных
- 31. Oracle GoldenGate для Oracle DatabaseИсключаем останов во время обновления базы данных • Безостановочная миграция с 8i, 9i, 10g на 11g • Миграция с других баз данных (MS, Sybase) • Миграция на новую версию приложения • Минимизируем риски с помощью failback
- 32. Миграция без остановки, шаги: 9i → 11g Cross-Platform 9i Clone → 11g 2 9i Solaris 1 Oracle GoldenGate Capture 1. Запуск модуля захвата изменений 2. Запуск процесса клонирования, потом обновление до 11g 3. Cross platform transportable tablespaces экспорт метаданных 4. Используем полный экспорт базы вNOROWS (Views, Packages, etc) Solaris 3,4
- 33. Миграция без остановки, шаги: 9i → 11g Cross-Platform 9i Clone → 11g 2 9i Solaris 1 3,4 Oracle GoldenGate Capture Solaris 6,7 11g 5 1. Запуск модуля захвата изменений 2. Запуск процесса клонирования, потом обновление до 11g 3. Cross platform transportable tablespaces экспорт метаданных 4. Используем полный экспорт базы вNOROWS (Views, Packages, etc) Linux 5. Новая инсталляция11g 6. Cross platform transportable tablespaces импорт метаданных 7. Полный импорт в IGNORE режиме
- 34. Миграция без остановки, шаги: 9i → 11g Cross-Platform 9i Clone → 11g 2 9i Solaris 1 Oracle GoldenGate Capture 3,4 8 6,7 Oracle GoldenGate Delivery 1. Запуск модуля захвата изменений 2. Запуск процесса клонирования, потом обновление до 11g 3. Cross platform transportable tablespaces экспорт метаданных 4. Используем полный экспорт базы в NOROWS (Views, Packages, etc) Solaris 5. 6. 7. 11g 5 Linux Новая инсталляция11g Cross platform transportable tablespaces импорт метаданных Полный импорт в IGNORE режиме 8. Запуск модуля доставки изменений 9. **SWITCHOVER** (not depicted)
- 35. Миграция без остановки, шаги: 9i → 11g Cross-Platform 9i Clone → 11g 2 9i Solaris 3,4 1 Failback contingency 8 6,7 1 1 11g 1 0 Дополнительные шаги: • • Solaris Запуск модуля захвата изменений на 11g Запуск процесс доставки на 9i (old source) 5 Linux
- 36. Пример клиента: First Data CorporationБезостановочная миграция базы данных 81,000 агентов одновременно • Merchant Services Infrastructure для web & call orders требовала обновления с 8i • Возможность остановки отсутствовала IIP Infrastructure IIP Infrastructure Oracle GoldenGate Oracle 8i HP/UX Oracle 10g AIX Решение: • Oracle 8i на 10g Database Upgrade & OS миграция на AIX • Поэтапная миграция в течение 3 месяцев • Обе системы в оперативном доступе в течение 1 месяца в режиме Active-Active, чтобы избежать останова
- 37. Oracle GoldenGate для Oracle DatabaseИзбегаем незапланированного останова с помощью Active Data Guard & Oracle GoldenGate • Active Data Guard для восстановления после сбоя и защиты данных: • Oracle-Oracle databases • Oracle GoldenGate для восстановления после сбоя и защиты данных: • Non-Oracle platforms • Конфигурация active-active • Cross-OS и Oracle database версий
- 38. Oracle GoldenGate для Oracle DatabaseПовышение производительности основной системы и снижение расходов • Перенос нагрузки на чтение с основной системы: • Гетерогенная конфигурация • Другая OS, версия базы данных, другая база • Перенос нагрузки с унаследов. системы • Среды active-active
- 39. Пример клиента : Sabre Holding Снижены расходы и повышена производительность Air Travel Shopping • Поддержка миллиардов транзакций в день • Высокая сложность архитектуры Schedule & Availability Oracle Databases Oracle GoldenGate GoldenGate Transaction Updates Up to 800,000 p/hour, 1.6 TB/day Oracle & MySQL Databases “Lookups” Решение: • Перенос “чтения” на real-time реплики ➢ 80% снижение в TCO • Миграция движка магазина и контента с NonStop платформы на Linux/Oracle ➢ 64% снижение стоимости лицензий ➢ 88% снижение стоимости оборудования • Миграция 160 реплик ‘для чтения’ с MySQL на Oracle ➢ 69% снижение стоимости поддержки софта ➢ 81% снижение в будущих затратах на оборудование ➢ 79% уменьшение стоимости хостинга
- 40. Выгода от Oracle GoldenGate Ниже расходы, Меньше риск, Революционное понимание бизнеса Ниже расходы, Выше эффективность • Избегая остановов, снижаем расход бизнеса и IT • Переносим нагрузку на чтение с унаследованных систем, масштабируем эффективнее Меньше риск, Гарантированная целостность • Минимизация потерь данных и поддержание целостности • Обеспечить откат в случае сбоя миграции Улучшить операции бизнеса • Распространяем данные в реальном времени для более точного принятия решения • Повышаем удовлетворенность клиентов, обслуживая без остановов
- 41. Oracle GoldenGate Veridata Сравнение данных без остановки • Высокоскоростное решение для сравнения данных с низкой дополнительной нагрузкой • Выявляет несоответствия данных между гетерогенными базами данных • Не прерывает предоставление сервиса • Плюсы: • Снижает финансовые/юридические риски • Ускоряет и упрощает работу IT при сравнении источников данных • Не нарушает работу бизнес-систем • Уверенность в дублирующих системах • Уверенность при принятии решении и формировании отчетности
- 42. Oracle GoldenGate Veridata Сравнение данных без остановки • Высокоскоростное решение для сравнения данных с низкой дополнительной нагрузкой • Выявляет несоответствия данных между гетерогенными базами данных • Не прерывает предоставление сервиса • Плюсы: • Снижает финансовые/юридические риски • Ускоряет и упрощает работу IT при сравнении источников данных • Не нарушает работу бизнес-систем • Уверенность в дублирующих системах • Уверенность при принятии решении и формировании отчетности
- 43. Oracle GoldenGate 11gR1 New Features Производительность • Bounded recovery • LOB теперь из журналов • OLE DB для MSSQL • Bind переменные в SQL • Управляемость Гибкость • Timeouts для транзакций • DDL – двусторонний, расширена поддержка • Улучшенная трассировка • Отключение триггеров • Новые типы данных • Уведомления о модификации схемы • Capture для Direct Load Сбор изменений из кэша ASM Платформы и инфраструктура Oracle, SQL Server, MySQL, DB2 for iSeries, JMS
- 44. Direct Load INSERTs • Using replication, actual application operations or changes initiated by a trigger can cause database inconsistencies • Oracle GoldenGate now supports direct-load INSERTs • Redo logs must have compatibility of Oracle 10g or later and supplemental logging must be enabled • Database must be in archive log mode and the affected object must be in logging mode • The following methods are supported: - - /*+ BUFFER +/ hint - /*+ PARALLEL */ hint • /*+ APPEND */ hint SQLLDR with DIRECT=TRUE SKIPDIRLOADINSERT option of TRANLOGOPTIONS causes Extract to skip all Oracle direct-load INSERTs
- 45. Oracle GoldenGate 11g – JMS как транспорт Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc). Trail: записываем данные для маршрутизации. Pump: передает данные на целевую систему Маршрутизация: данные могут быть сжаты и зашифрованы при передаче Delivery: применяет данные с транзакционной целостностью Captur e Source Oracle & Non-Oracle Database(s ) Trail Trail Pump Delivery JMS Двунаправл енная Target Oracle & Non-Oracle Database(s )
- 46. New Features: GoldenGate 11.1 PS1 • Oracle Transparent Data Encryption Support (TDE) • Column and Tablespace Level • Use Extract DBOPTIONS Parameter DECRYPTPASSWORD • Extract “Read-Ahead” Mechanism • Now Parses and Reads Data in Parallel • Reduces I/O Latency • Replicat Asynchronous Commit • Replicat Uses NOWAIT Option on Commit • Improved Performance • Available Oracle 10gR2 and Later Targets
- 47. New Features: GoldenGate 11.1 PS1 • Extract Now Integrated with RMAN for Recovery • By Default Retains Appropriate Logs for Bounded Recovery • Retention can be Configured for Normal Recovery • Use Extract TRANLOGOPTIONS Parameter LOGRETENTION • Smarter Extract in Oracle RAC Environment • Extract now uses Redo Log Heartbeat instead of SCN to Maintain Transaction Order • Delivery to EHCC-Compressed Tables in Oracle Exadata • Use Replicat Parameter INSERTAPPEND
- 48. Value Propositions для Oracle GoldenGate Oracle GoldenGate… Обеспечивается непрерывный сервис для бизнес-критичных приложений, позволяя избежать запланированных и незапланированных простое и соответствующих потерь Меньшие IT расходы через поддержку гетерогенности для различных платформ, что снижает затраты на инфраструктуру Высокая эффективность за счет высокой производительности и масштабируемости средств мы обеспечены данными в реальном времени Снижение рисков за счет гарантированности целостности данных и надежности передачи в целевые системы Облегчается совместное использование данных за счет того, что нет влияния на существующие приложения при извлечении данных в реальном времени
- 49. Заключение • Характеристики • минимальная нагрузка, низкая задержка гетерогенность, большая база клиентов, для Oracle - native • Использование – построение RTDW, Query offloading, миграция, отказоустойчивость • Дополнительное – удобное GUI, Veridata
- 50. ALEXANDER RYNDIN Старший консультант по пространственным технологиям и технологиям хранилищ данных Oracle CIS Moscow, Krasnopresnenskaya nab., 18, Block C phone +7(495) 641-1400 fax +7(495) 641-1414 alexander.ryndin@oracle.com http://www.oracle.com/ http://www.oraclegis.com/