Использование Tarantool в качестве платформы виртуализации данных / Константин Осипов (tarantool.org), Сергей Мясников (Вымпелком)
1 like1,077 views
Документ обсуждает использование платформы Tarantool для виртуализации данных, разработанной для обработки больших объемов транзакций. Он описывает преимущества, такие как каноническое представление данных и интеграцию с бизнес-процессами, а также проблемы, включая производительность и дополнительную нагрузку на источники данных. Приводятся требования и решения для компании 'Вымпелком', а также перспективы дальнейшего развития системы.
Использование Tarantool в качестве платформы виртуализации данных / Константин Осипов (tarantool.org), Сергей Мясников (Вымпелком)
- 1. Использование Tarantool в качестве платформы виртуализации данных Константин Осипов, kostja@tarantool.org Сергей Мясников, smyasnikov@beeline.ru
- 2. Платформа Tarantool ● in-memory СУБД для высокой нагрузки ● создана в Mail.Ru в 2008-2016 гг. ● технология нового поколения, на основе последних исследований в области обработки транзакций ● полностью бесплатна (BSD)
- 3. Участники проекта ● ПАО “Вымпелком” - заказчик ● ООО “ЭйТи Консалтинг” - интеграция с системами ПАО “Вымпелком” ● ООО “Мэйл.Ру” - решение “под ключ” на платформе Tarantool
- 4. Что такое data virtualization A solution that sits in front of multiple data sources and allows them to be treated as a single JSON/SQL database
- 5. Применение DV ● каноническое централизованное представление данных ● интегрированное управление бизнес процессами ● модернизация и поддержка legacy приложений ● инструмент консолидации данных при M&A – поглощениях и слияниях
- 7. Проблемы подхода DV ● производительность, т.к. платформа не является первоисточником данных ● дополнительная нагрузка на первоисточники ● требует дополнительных ресурсов – оборудование, ПО ● не заменяет другие инструменты (ETL, BI, CRM, CSM)
- 8. Почему Вымпелком нужна DV • растёт сложность услуг и настроек ИТ систем • необходима централизация управления услугами в 90 регионах России • рынок требует интерактивной работы с клиентом • новым данным нет места в legacy системах ➔ нельзя просто взять и всё сразу переписать с нуля
- 9. Базовые требования к решению ● проекция данных в единую логическую модель ● хранение мастер-данных внутри самой системы ● кэширование данных ● контроль прав доступа ● отказоустойчивость 3-го уровня и выше
- 10. Уникальные требования Вымпелком ● независимый жизненный цикл поставщиков и потребителей данных ✔ версионирование схемы ✔ подключаемые источники данных ✔ поддержка старых клиентов ● контроль нагрузок на источники данных ● производительность 30 Krps на узел
- 11. Обзор рынка ● Informatica Platform ● Denodo Platform ● Cisco Data Virtualization/ex. Composite software ● JBOSS Teiid … всего более 20 enterprise вендоров (Forrester) ➔ решение под конкретного заказчика на основе open source технологий
- 12. Причины выбора поставщика ● наличие экспертизы для создания решения под заказ ● опыт производства коробочного ПО ● гарантия доработок основной технологии хранения (платформы Tarantool) под нас ● наименьшая общая стоимость владения
- 14. Как мы “обманули” природу ● 3 операции над данными: чтение, запись, уведомление ● версионирование схемы данных в Avro Schema ● общее представление объекта из нескольких источников ● любой объект – это набор независимых параметров ● подключаемые источники данных ● реконфигурация без downtime ● внешний интерфейс REST ● постраничное чтение, чтение связанных объектов ● оптимистичная транзакционная семантика ● справочник сервисов как БД нагрузочных профилей и профилей доступа
- 15. Результаты ● снижение затрат на поддержку существующих систем за счёт выноса общих данных в обособленную систему ● снижение удельной стоимости 1 rps ● сокращение сроков запуска продуктов
- 16. Планы ✔ единый профиль клиента ✔ лента сообщений ✔ контроль каналов при общении с пользователем ✔ генератор параметризованных сообщений ✔ однородный мониторинг бизнес-метрик