Опыт разработки масштабируемого решения по хранению журналов в Hadoop
1 like859 views
Документ описывает решение по хранению журналов данных с использованием технологии Hadoop для компаний с разнообразными учетными системами. Основные цели включают снижение затрат на хранение, упрощение администрирования баз данных и возможность анализа больших данных. Предложенная архитектура обеспечивает масштабируемость и отказоустойчивость, что позволяет эффективно управлять данными журналов.
Опыт разработки масштабируемого решения по хранению журналов в Hadoop
- 1. 12 ноября 2014 года Опыт разработки масштабируемого решения по хранению журналов в Hadoop Дмитрий Морозов Ведущий специалист по проектированию IT-инфраструктурных решений
- 2. Исходная проблематикаи постановка задачи 2/19
- 3. Специфика компаний, с которыми работаем Торговые сети Банки Разнообразный парк автоматизированных учетных систем Нагруженные базы данных, большая часть из которых –Oracle 3/19
- 4. Трудности компаний, обладающих зоопарком учетных систем Дорогое хранение практически неиспользуемых данных журналов Сложное администрирование оперативных баз данных, недостаточное окно времени для резервного копирования Невозможность использовать информацию журналов для анализа 4/19
- 5. Цели решения (интересы клиентов) Уменьшить стоимость хранения данных журналов, обеспечив доступ к ним из существующих приложений Сохранить привычный способ работы с приложениями для пользователей Упростить задачи администрирования БД Создать возможность использования журналов при анализе больших данных 5/19
- 6. Модель жизненного цикла данных Оперативный контурОтчетный контурАналитический контурАрхивный контурУдалениеСоздание 6/19
- 7. Начальное положение дел Все данные 7/19
- 8. Журналы как отдельная категория Существенный вклад в объем данных Большой поток данных Только для чтения Отдельное хранение Масштабируемость Оптимизация на чтение/поиск/аналитику 8/19
- 9. Предлагаемое разделение Оперативный и отчетный контурАналитический и архивный контур 9/19
- 10. Почему Hadoop? Варианты размещения журналов: Партиционированиев рамках того же экземпляра БД В отдельном экземпляре БД В распределенном хранилище (например, ElasticSearch) В хранилище Hadoop Преимуществавыбора Hadoop: Стоимость хранения Масштабируемость и отказоустойчивость Богатые возможности ad hoc анализа данных инструментами Hadoop 10/19
- 11. Архитектура масштабируемого решения по хранению журналов 11/19
- 12. Общая схема решения: было АСГенерация данных журналовСохранение данных журналовФайлы на локальных дискахЖурналыв БДИнтерфейсы доступа к журналамПервичная записьЧтениеЗапрос данныхЗапись данных 12/19
- 13. Общая схема решения: стало АСГенерация данных журналовСохранение данных журналовФайлы на локальных дискахЖурналыв БДИнтерфейсы доступа к журналамПервичная записьХранилищежурналовАрхивированиеЧтениеЗапрос данныхЗапись данных 13/19
- 14. Размещение данных Даты событийЖурналы в исходной БД(фиксированный объем) Журналы в хранилищеПеренос данныхУдаление данныхСоздание новых данныхОперативный и отчетный контурАналитический и архивный контур 14/19
- 15. Архитектура хранилища Распределенная файловая система (HDFS) Сервис запуска задач(Oozie) Сервис переноса текстовых журналов(Flume) Сервис переноса реляционных журналов (Sqoop) Сервис конфигурирования кластера(ZooKeeper) Сервис администрирования кластера(ClouderaManager) Сервис очистки журналовFullScan-БД (Impala)KeyValue-БД (HBase) Интерфейс запроса данных(REST API) Интерфейс импорта файловых журналовИнтерфейс импорта журналов РСУБДСервис индексации(Solr) Сервис доступа к журналам хранилищаЗапрос данныхЗапись данныхРазработка CUSTISКомпоненты экосистемы Hadoop 15/19
- 16. Подключение АС к хранилищу 16/19 Сервер приложений (Java/Jboss) БД(Oracle) Журнал сервера приложенийЗапрос журнальных данныхИнтеграционный адаптерБД + Сервер приложений(Oracle) Интеграционный журналЗапросжурнальных данныхЗапрос «свежих» журналовИнтеграционныйжурналИнтеграционный адаптерЗапрос «свежих» журналовЖурнал приложенияЖурнал приложенияИнтерфейс запроса данных(REST API) Интерфейс импорта файловых журналовИнтерфейс импорта журналовРСУБДЗапрос данныхЗапись данных
- 17. Стоимость хранения данных (10 Тб) На СХД среднего уровня Полка СХД + коммутаторы ~3 млн руб. SATA~ 50 Тб, т.е. 600 тыс. руб. за 10 Тб SAS ~15 Тб, т.е. 2 млн руб. за 10 Тб SSD, FlashCacheи т.п. даже не рассматриваем На HDFS По 10 Тб обычных дисков на 4 дешевых сервера ~50 х 4 = 200 тыс. руб. Оборудование и для хранения, и для вычислений Разница –минимум в 3 раза, для SAS–в 10 17/19
- 18. Результаты решения Значительно сокращается стоимостьхранения данных журналов (минимум в 3 раза) За счет уменьшения объемов оперативных БД упрощаются задачи администрирования, уменьшается время создания резервных копий Для пользователей ничего не изменилось, существовавшие интерфейс и функционал АС сохранены Информацию, которая раньше считалась обузой, можно использовать при анализе больших данных 18/19
- 19. Спасибо! Вопросы? Дмитрий Морозов morozov@custis.ru 19/19