![«Родной» интерфейс и формат данных для Web
6
• Сократить (вовсе исключить!) «сериализацию»
• RESTful API = любые средства разработки
• JSON – «штатный» формат обмена для современных приложений
• Межсетевые экраны и прокси-сервера «открыты по умолчанию»
1. {
2. "_id": "110067407",
3. "_rev": "1-9c45439faa16674951ce450e7b88a6b6",
4. "date": "2017/01/15 16:41:25 +0000",
5. "properties": {
6. "source": "boston",
7. "main_crimecode": "arrest",
8. "shooting": false
9. },
10. "geometry": {
11. "type": "Point",
12. "coordinates": [-
71.08561842,42.3286598]
13. }
14. }](https://image.slidesharecdn.com/couchdb-and-cloudant-2020-200617121221/85/IBM-Cloudant-Apache-CouchDB-NoSQL-6-320.jpg)
IBM Cloudant и Apache CouchDB: NoSQL базы данных эпохи облаков
- 1. NoSQL базы данных эпохи облаков © 2020 IBM Corporation Презентация от 04 июня 2020 года
- 2. Что такое Apache CouchDB? 2 LB1 LB2 (failover) • Open Source проект под эгидой Apache Software Foundation • Документ-ориентированная СУБД • Работа с данными в формате JSON через RESTful API • Горизонтальное масштабирование на чтение и запись • Устойчивость к отказам отдельных серверов • Встроенная мульти-мастер репликация
- 3. Что такое IBM Cloudant? 3 • Облачный сервис NoSQL СУБД от IBM • Использует доработанное ядро CouchDB • Эластичное управление пропускной способностью и ёмкостью • Географически-распределённая инфраструктура ЦОД • Реализует ряд расширений и усовершенствований, включая работу с геоданными • Новые функции интегрируются в Apache CouchDB
- 4. Некоторые успешные проекты 4 SeniorAdvisor Healthcare GameStop Retail Likeminder Media YukonBaby Healthcare Dimagi Life Sciences Skechers Retail Opteamize Education RunKeeper Healthcare Menuat Retail AppAdvice Media Cabify Transport Liberty Mutual Insurance Morningstar Financial Hothead Games Media Kohl’s Retail Ovation Computer Services Quetzal Retail SpaceCraft Media RadPad Media RSG Media Media Connio Computer Services Comdata Computer Services https://www.ibm.com/case-studies/search
- 5. • «Родной» интерфейс и формат данных для Web • Практически неограниченная масштабируемость • Гибкость и удобство разработки • Репликация! – в том числе для мобильных устройств и IoT • Отсутствие привязки к поставщику (Vendor Lock-In) Spark SQL Сильные стороны 5 REST (HTTP/s) API Data APIs On-Premises Appliances Analytics Exchange APIs Cloud Data Services APIs JSON, REST, Geospatial, Mobile Offline Sync Cloud and Local Masterless Nodes Web & Mobile Applications Data IngestData Export
- 6. «Родной» интерфейс и формат данных для Web 6 • Сократить (вовсе исключить!) «сериализацию» • RESTful API = любые средства разработки • JSON – «штатный» формат обмена для современных приложений • Межсетевые экраны и прокси-сервера «открыты по умолчанию» 1. { 2. "_id": "110067407", 3. "_rev": "1-9c45439faa16674951ce450e7b88a6b6", 4. "date": "2017/01/15 16:41:25 +0000", 5. "properties": { 6. "source": "boston", 7. "main_crimecode": "arrest", 8. "shooting": false 9. }, 10. "geometry": { 11. "type": "Point", 12. "coordinates": [- 71.08561842,42.3286598] 13. } 14. }
- 7. Практически неограниченная масштабируемость 7 • Распределённая архитектура • MVCC, eventual consistency • Запись не будет «бутылочным горлом» • Добавление серверов по мере надобности Начать с малого и расти по мере необходимости Чтение Запись
- 8. Гибкость и удобство разработки 8 • Схема данных управляется приложением • но может контролироваться при записи! • (обработчик обновлений – «update handler») • Индексы по полям • Полнотекстовые индексы на базе Apache Lucene • Автоматические расчёты внутри БД по схеме Map-Reduce • Мобильные приложения (сценарии «Offline first») • Работа с географическими данными
- 9. Интерфейсы для работы с данными 9 Документы JSON Первичный индекс Вторичный индекс • Прямой поиск по полю _id • Существует всегда • B-trees • Значение _id à Документ • Инкрементальный MapReduce • B-trees • Ключ à Поля • Чтение и запись единичного документа или их набора с указанием значения поля _id • Поиск документов по _id • Возможность поиска по диапазону значений • Анализ диапазона или множества • Агрегация, статистика, группировка данных Полнотекстовый (Lucene) Geospatial CouchDB Mango (Cloudant Query) • На основе Apache Lucene • Индексируются все поля или выбранная часть • R* trees • Lat/Long координаты GeoJSON • Декларативные запросы к стиле MongoDB • Запросы Ad-hoc • Поиск документов по содержимому • Возможна группировка и базовые геопространственные операции • Сложные геометрии (polygon, circular string, ...) • Геометрические вычисления (intersect, overlaps, …) • Запросы Ad-hoc • Операторы (>, <, IN, OR, AND) • Интуитивно для специалистов с опытом MongoDB или SQL
- 10. Репликация 10 Pull Push Cluster A Cluster B Sync SyncSync § Двунаправленная: Push + Pull = Synchronization § Непрерывная либо по запросу § Фильтруемая: Отбор подмножества по условию § Надёжная: Возобновляется после прерывания • Автоматическое обнаружение конфликтов • Автоматический выбор «победителя» • Возможность скорректировать выбор в приложении
- 11. Репликация и гибридные облака 11
- 12. Разработка мобильных приложений 12 • Готовые инструменты для построения мобильных «Offline First» приложений • Cloudant Sync – локальное JSON хранилище для мобильных устройств, Open Source • Android: https://github.com/cloudant/sync-android • iOS: https://github.com/cloudant/CDTDatastore • SwiftCloudant – официальная Open Source библиотека под Apple Swift для работы с CouchDB и Cloudant • https://github.com/cloudant/swift-cloudant • PouchDB – база данных для работы в браузере • Синхронизация с CouchDB и Cloudant
- 13. Интеграция Cloudant и Apache Spark § Расширение в составе Apache Bahir § Варианты применения: – Быстрая аналитика над данными – Трансформация и фильтрация потока данных перед загрузкой – Аналитика над данными из нескольких источников (не только Cloudant) § Поддержка Spark SQL – SQL-запросы к данным Cloudant – Обработка результатов на Scala и Python – Запись результатов обратно в Cloudant 13 SparkSession / DataFrame / Dataset APIs Structured Streaming MLlib GraphFrame TensorFrame s SQL Spark Core Spark Core (RDD APIs) Data Source Connections Spark SQL
- 14. Интеграция Cloudant и Apache Spark 14
- 15. Cloudant Geospatial 15 § Обширный набор функций поддержки ГИС-приложений – Накрывающий многоугольник и эллипс, окружность, прямоугольник – Предсказание пути, оптимизация маршрута, GeoIP – Сегментирование данных на основании сведений о местоположении – Стандарты GeoJSON, OGC SFSQL, SQL/MM § Локальный доступ (на уровне устройства) к функциям ГИС § Интеграция с распространенными ГИС-приложениями – Поддержка формата WKB (GDAL, Python) – ESRI ArcGIS – Интеграция с MapBox
- 16. Влияние Cloudant на развитие CouchDB 16 • CouchDB 1.0: • Fauxton (GUI для управления и доступа к данным) • Полнотекстовый поиск • Поддержка географических запросов • CouchDB 2.0: • Поддержка кластерного режима работы • CouchDB 3.0: • Партиционированные запросы • Перебалансировка кластера для расширения
- 17. Немного истории – Apache CouchDB и IBM Cloudant
- 18. Будущее: Cloudant «on Transaction Engine» 18 • Организация работы с данными на основе FoundationDB • Снижение задержек при запросах • Автоматическое масштабирование • долой ручное шардирование! • Строгая согласованность данных • вторичные индексы обновляются синхронно • Доступен уже сегодня • Реализация в CouchDB ожидается в версии 4.0 • зависит от решений сообщества
- 19. Пример конфигурации оборудования Cloudant 19 • Типовой узел «bare metal» кластера Cloudant для IBM IaaS • 48 процессорных ядер • 128 Гбайт оперативной памяти • Диски – один из двух вариантов: • 2 x 1,2 Тбайт SSD в RAID-0 • 4 x 1,2 Тбайт SSD в RAID-10 (для минимизации отказов узла) • Локальные SSD-диски критичны для производительности • Кластер на 12 узлов обычно обеспечивает не менее: • 20 000 чтений в секунду • 10 000 записей в секунду • 1 000 глобальных запросов (сканирований) в секунду • По опыту, тюнинг (партиционирование, индексы, …) позволяет достичь ещё более высоких показателей на том же кластере Дополнено 17 июня 2020 года YMMV
- 20. Специфика производительности Cloudant и CouchDB 20 • Cloudant и CouchDB – не база ключ/значение • Вторичные индексы и полнотекстовый поиск • Инкрементальные расчёты Map-Reduce • Встроенная система репликации изменений • Сравнение «скорострельности» с (вашей любимой NoSQL базой) имеет смысл только при сопоставимой функциональности • Диски (предпочтительно – flash-память) • Вместо хранения всех данных в оперативной памяти • Перспектива – переход на FoundationDB обеспечит снижение нагрузки ввода-вывода • Увеличение и уменьшение размера кластера • Обычно выполняется группами по 3 узла (или кратно) • Позволяет масштабировать как чтение, так и запись Дополнено 17 июня 2020 года
- 21. © 2020 IBM Corporation