Миграция данных из Oracle в Postgres
Download as PPTX, PDF0 likes813 views
Документ описывает процесс миграции данных из Oracle в PostgreSQL, проведенный Максимом Трегубовым, ведущим системным администратором. Основное внимание уделяется выбору инструмента ora2pg для миграции, его конфигурации и подготовке тестового стенда, а также итогам работы, включая трудозатраты и возможность дальнейшей миграции. Процесс подтверждает возможность перехода без изменения кода Java приложения.
Миграция данных из Oracle в Postgres
- 1. 15 сентября 2015 года Миграция данных из Oracle в Postgres Максим Трегубов Ведущий системный администратор
- 2. О себе 18 лет Oracle-бэкграунда (Dev + DBA) Python (Shell + Web App) *nix power user Hadoop, MongoDB, Elasticsearch… 2/24
- 3. Текущая ситуация Приложение на этапе внедрения Трехзвенная архитектура СУБД Oracle 3/24
- 4. Почему Postgres? Три коммитера ядра в России Сертификация ФСТЭК Лицензия BSD Существует компания Postgres Professional: http://postgrespro.ru 4/24
- 5. Текущая ситуация Web App Hibernate SQL Oracle 5/24
- 6. Текущая ситуация Web App Hibernate SQL Oracle 6/24
- 7. Задачи Оценить возможность миграции данных Оценить трудозатраты в случае изменения движка отчетов 7/24
- 8. Требования к инструменту миграции Возможность воссоздания структуры данных (таблиц, индексов, constraints…) Быстрота миграции данных (около 50 Гб) Простота в освоении и надежность … Бесплатность 8/24
- 9. Наш выбор – Ora2Pg Богатый функционал Активное развитие проекта на протяжении 15 лет Open Source, лицензия GPLv3 9/24
- 10. Подготовка тестового стенда Создание или обновление стендов для разработки и тестирования Oracle, WebLogic, WebSphere, Hadoop, Postgres Более 100 серверов 10/24
- 12. Подготовка тестового стенда Oracle Enterprise Linux Oracle Client 11.2.0.3 Postgres 9.4 Ora2Pg 15x 12/24
- 13. Подготовка тестового стенда VM1 Oracle 11.2.0.3 Oracle Enterprise Linux VM2 Postgres 9.4 Oracle Client 11.2.0.3 Ora2Pg 15.2 CentOS 6.6 TCP 1521 13/24
- 14. Подготовка тестового стенда DEMO 14/24
- 15. Конфигурация Ora2Pg ora2pg --init_project tst_owner tst_owner/ ├── config ├── data ├── reports ├── schema │ ├── dblinks │ ├── directories … 15/24
- 16. Конфигурация Ora2Pg Откуда ORACLE_HOME /usr/lib/oracle/11.2/client64 ORACLE_DSN dbi:Oracle:host=oracle_host.domain.ru;sid=<SID> ORACLE_USER SYSTEM ORACLE_PWD MANAGER EXPORT_SCHEMA 1 SCHEMA TST_OWNER 16/24
- 17. Конфигурация Ora2Pg Куда PG_DSN dbi:Pg:dbname=qqq;host=localhost;port=5432 PG_USER tst_owner PG_PWD tst_onwer PG_SCHEMA tst_owner 17/24
- 18. Конфигурация Ora2Pg Как TYPE TABLE,COPY Разное DEFAULT_NUMERIC numeric 18/24
- 19. Конфигурация Ora2Pg ./export_schema.sh $psql -d qqq -U test_owner < schema/tables/table.sql $ora2pg -t COPY -o data.sql -b ./data -c ./config/ora2pg.conf $psql -d qqq -U test_owner < schema/tables/INDEXES_table.sql $psql -d qqq -U test_owner < schema/tables/CONSTRAINTS_table.sql 19/24
- 21. SQL Переписали часть SQL-движка, избавившись от Oracle-специфичных выражений Connect by prior Decode (+) … 21/24
- 22. Итоги Подтвердили возможность перехода Не поменяли ни строчки кода в Java Трудозатраты составили ~ 100 часов Приложение без PL/SQL Объем БД – 50 Гб 10 отчетов 35 таблиц 22/24
- 23. Дальнейшие шаги Проверить возможность миграции приложения с логикой на PL/SQL 23/24
Editor's Notes
- #3: Участвую в различных активностях на площадках клиентов: встраивание наших продуктов в инфраструктуру клиентов, troubleshooting, нагрузочные тестирования.
- #4: Мы создаем приложение для клиента вот с таким стеком технологий. Буквально накануне сдачи клиент обратился к нам с вопросом, можно ли вместо Oracle использовать какую-либо другую СУБД. Просьба клиента была связана с минимизацией рисков санкций и общим трендом импортозамещения. Проработали MySQL, FireBird (RedDatabase), TiberoDB (аналог Oracle от корейцев), MariaDB. Критерии сравнения: стоимость и вид лицензирования; сертификация, интенсивность развития; компетенции на рынке, наличие поддержки.
- #7: При смене СУБД возникают 2 вопроса. Возможность портировать данные из Oracle в Postgres «один в один», чтобы совпали типы, точность. Желательно, что бы constraints и indexes также остались. Трудозатраты по изменению движка отчетов. За Hibernate мы не волновались, тут все должно было быть хорошо.
- #9: Теперь перейдем к шагу по выбору инструмента миграции. Рассмотрели коммерческие дистрибутивы, такие как Enterprise DB, Oracle Golden Gate (хорош, но денег не сложишь). И тут – бинго, я вспомнил, что, будучи на PGConf в феврале этого года, посетил доклад Жиля Дарольда об утилите Ora2Pg. Присмотрелись к продукту поближе и поняли, что это то, что нужно Он прост, понятен, бесплатен и надежен.
- #10: Принцип работы утилиты командной строки Ora2Pg довольно прост: она соединяется с БД Oracle, сканирует указанную в файле конфигурации схему и выгружает объекты схемы в виде DDL-инструкций в sql-файлы. Сами данные можно как выгрузить в виде INSERT’ов в sql-файл, так и вставить напрямую в созданные таблицы СУБД Postgres.
- #11: Прежде чем перейти описанию тестового стенда, я бы хотел немного отойти от темы и рассказать, как мы разворачиваем стенды для разработки и тестирования у себя в компании. Мы разрабатываем ПО для госсектора, финансовых организаций и ритейла. Проектов, идущих параллельно, много, каждый проект – это 2-3 набора серверов, зачастую с разным набором ПО, патчей. Управлять всем этим хозяйством вручную – очень дорого и долго. На помощь пришла методология DevOps , в частности – инструмент Ansible. Мы храним описание инфраструктуры в системе контроля ревизий рядом с кодом, который на ней выполняется, и в любой момент можем эту инфраструктуру воссоздать.
- #12: Мы очень активно используем эту утилиту из арсенала DevOps. Интегрировали ее с VSphere. Установка и настройка Linux под Oracle, установка ПО Oracle нужной версии, накат нужных патчей – ранее все это занимало в среднем 4 часа. Потратив на создание Playbook’a для Oracle около 20 часов, мы запускаем его и через 18 минут (можно успеть попить кофе) все готово.
- #16: В корне будет лежать файл export_schema.sh.
- #17: Файл конфигурации Ora2Pg довольно объемен, и я остановлюсь только на тех параметрах, которые являются корневыми или потребовались во время миграции наших данных.
- #19: Указываем тип экспорта. Параметр COPY говорит о том, что мы будем копировать данные напрямую из Oracle в Postgres, минуя текстовый файл. Для того, чтобы тип number() без указания точности не конвертировался в bigint.
- #23: Приложение на данный момент тестируется у заказчика.
- #24: По результатам этой работы – статья на «Хабре», митап и, если получится, – участие в конференции.