Программно-технические комплексы для работы с геолого-геофизическими данными
0 likes689 views
Документ описывает инфраструктуру и компоненты программно-технических комплексов для обработки геофизических данных, включая вычислительные кластеры, локальные сети и системы хранения. В нем изложены ключевые сложности и требования к оборудованию, а также примеры резервного копирования огромных объемов сейсмических данных. Также упоминается вклад компании 'Сетьпроект' в решение задач и поддержку внедрения.
Программно-технические комплексы для работы с геолого-геофизическими данными
- 1. Программно-технические комплексы для работы с G&G Всеволод Шабад, «СетьПроект»
- 2. Ключевые компоненты инфраструктуры Вычислительные кластеры Рабочие станции Локальная сеть Системы хранения данных Системы резервного копирования Система электропитания Система охлаждения … 2
- 3. В чем неординарность? ОГРОМНЫЕ ОБЪЕМЫ ДАННЫХ! Обработка сейсмики: •сотни ТБ — море •десятки ТБ — суша Интерпретация сейсмики: •десятки ТБ — море •единицы ТБ — суша Моделирование месторождений: •единицы ТБ, сотни ГБ 3
- 4. Пример: резервное копирование Система электронной почты для 5 тыс. пользователей: •5 тыс. ящиков по 300 МБ = 1,5 ТБ •ленточный привод LTO-6 ≈ 150 МБ/c •длительность резервного копирования ≈ 10 тыс. секунд ≈ 3.5 часа (приемлемо!) Архив сейсмоданных средней компании: •800 ТБ •ленточный привод LTO-6 ≈ 150 МБ/c •длительность резервного копирования ≈ 5 млн. секунд ≈ 1400 час ≈ 2 мес (неприемлемо!) 4
- 5. Типичный вычислительный кластер РН-КрасноярскНИПИнефть: •56 вычислительных узлов •896 вычислительных ядер (16 на узел) •7168 ГБ ОЗУ (128 на узел) Ключевые сложности: •электропитание (1200 Вт на узел) •место в стойках 5
- 6. Типичная рабочая станция НОВАТЭК НТЦ (Тюмень): •E5-2687W (8 ядер, 3.1 ГГц) •128 ГБ ОЗУ •NVIDIA Quadro 4000 •2 ГБ видеопамяти •256 графических ядер CUDA Ключевые сложности: •высокая цена (≈ 12 тыс. USD за штуку) •организация защиты данных 6
- 7. Типичная локальная сеть НОВАТЭК НТЦ (Тюмень): •10-Gigabit Ethernet (в ЦОДе) •Gigabit Ethernet (к рабочим местам) Ключевые сложности: •низкая производительность (загрузка модели занимает десятки минут) 7
- 8. Типичная система хранения данных НПЦ «Геостра» (Уфа): •3 ГБ/с пропускная способность •500 ТБ (в момент заказа — летом), 1.2 ПБ (потребность к концу года) Ключевые сложности: •масштабируемость •по производительности •по ёмкости •готовность к разнородным нагрузкам 8
- 9. Типичная система РК «Газпром Геологоразведка» (Тюмень): •10 приводов LTO-6 (расширение до 42) •900 картриджей LTO-6 (расширение до 3000) Ключевые сложности: •производительность резервного копирования •надёжность хранения резервных копий 9
- 10. Как правильно выбрать решение? 10
- 11. Вклад «СетьПроекта» Помощь в постановке задачи •уточнение исходных данных •выявление неочевидных ограничений •организация тестовых стендов Внедрение •проектирование •поставка •развертывание Сопровождение 11
- 12. 12 Бежим вместе?