Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)

Хранение
json-документов
в Tarantool
Дроздов Андрей. Mail.Ru Group

Agenda
Как хранить json-документы в Tarantool
Стратегии работы с версиями
Как это используется в production
Бенчмарки и сравнения

Проблема
Виртуализация данных
Обогащение данных от источника
Интеграция с legacy проектами
Объединение данных от нескольких источников
Очень большие нагрузки
Все данные — JSON

Схемы Avro
{
"First": "John",
"Last": "Doe"
}
{
"name": "Person",
"type": "record",
"fields": [
{ "name": "First",
"type": "string" },
{ "name": "Last",
"type": "string" }
]
}
Хранится как: ["John", "Doe"]

[
"John",
"Doe",
"Was here!"
]
{
"First": "John",
"Last": "Doe"
"Notes": "Was here!"
}
V2 V2
Versions

[
"John",
"Doe",
"Was here!"
]
{
"First": "John",
"Last": "Doe"
}
V2 V1
Versions

[
"Jane",
"Doe"
]
{
"First": "Jane",
"Last": "Doe"
"Notes": ""
}
V1 V2
Versions

Compiler
Apache implementation (too slow)
Code generation?
LuaJIT
LLVM

RPS (×1000)
500
1000
1500
2000
Baseline (C) Codegen (LuaJIT)
Interpreter
JIT

RPS (×1000)
500
1000
1500
2000
2500
3000
3500
Baseline (C) Codegen (LuaJIT) Codegen (LLVM)

Ключевые понятия
compile(text): Schema
flatten(schema_in, schema_out, json): Tuple
unflatten(schema_in, schema_out, tuple): JSON
xflatten(schema_in, schema_out, json): UpdateQuery

Миграции
add — добавление поля в структуру
delete — удаление поля из документа
hide — удаление поля без удаления данных
rename — переименование поля при помощи alias

Стратегии write
Все запросы выполнять в версии клиента?

Минусы
Версии не возрастают, один и тот же запрос
может вернуть разные ответы

Стратегия update
[
"Jane",
"Doe"
]
{
"First": "Andrey",
}
Храним в версии 1
Запрос на обновление

[
"Jane",
"Doe"
]
{
"First": "Andrey",
}
[
"Jane",
"Doe",
""
]
Приводим к max
[
"Jane",
"Doe"
]

[
"Jane",
"Doe"
]
{
"First": "Andrey",
}
[
"Jane",
"Doe",
""
]
[
"Andrey",
"Doe",
""
]
Приводим к max Храним в версии 2
Результат xﬂatten
[
"=", 1, "Andrey"
]
[
"Jane",
"Doe"
]

Плюсы: Версии будут приводиться к актуальной
Минусы: Теряем данные из удаленных полей
Лечение:
• Восстанавливаем значения при помощи defaults
• Hide вместо удаления полей

Дополнительно
• Валидация данных по схеме без преобразований
• Развертка полей JSON в tuple (имена, типы данных)

Примеры архитектур
Одноуровневая система с репликацией
Отдельно приложение, отдельно хранение
Хранение по ttl
Совместное хранение в памяти и на диске (vinyl)

Хранение отдельно

Устаревание данных

Подводные камни
• Нужно описать логику преобразования версий
• Нужно написать обертки под каждый тип запроса
• Нужно связывать авро схему и индексы в tuple
• Удобно иметь связи между схемами
• Удобно создавать простые API автоматически (без lua)

Что это дает?
• Автоматическая настройка tarantool
• Вся конфигурация - один json-файл
• Версионирование запросов на лету
• Хранится только актуальная версия
• Иерархические связи между схемами
• Не нужно программировать на lua

Пример конфигурации
{
"memory": 30,
"port": 3301,
"index": [
"user":["uid"],
"device":["uid", "sno"]
],
"relations": {
"user": ["device"]
}
"api": {
"1": {
"user":{},
"device":{}
]
}
}

Что произойдет внутри?
box.cfg{
slab_alloc_arena=30,
listen=3301
wal_mode=«write»
}
box.schema.create_space(«user»)
box.space.user:create_index(…)
box.schema.create_space(«device»)
box.space.device:create_index(…)

Что произойдет снаружи?
• /api/v1/user/1
• /api/v1/user?limit=100&offset=0
• /api/v1/device/1/1
• /api/v1/device?limit=100&offset=0
• /api/v1/user/1/?related=prefetch

Join
{
"uid": 1,
"First": «John",
"Last": «Doe"
"device": [
{
"uid": 1,
"sno": 1,
"name":"myD",
}
]
}

Bench
Используем 4 физических ядра
Одинаковая модель данных (2 кб на запрос)
• GO: Go-restful + Mongodb (Mora)
• NodeJS: Express + Mongoose
• Python: Django Rest Framework (nginx + uwsgi)
• Tarantool: Tarantino (avro + memtx)

Чтение
node js: express + mongo

Запись
node js: express + mongo

Чтение
go restful + mongo

Запись
go restful + mongo

Tarantino
• Одно ядро
• Преобразование схемы в каждом запросе

Чтение
tarantino (avro + tarantool memtx)

Запись

Результаты
0
7500
15000
22500
30000
NodeJS (4 ядра) GO (4 ядра) Tarantool (1 ядро)
Чтение Запись

Производительность 4 ядра
Чтение: 100000 rps
Запись: 60000 rps

Use cases
• Легковесные restful сервисы
• Бэкенды для мобильных приложений
• Выкатывание нескольких версий приложения одновременно
• Scientiﬁc приложения (анализ данных) - хранение грязных и
чистых данных в разных версиях

Спасибо за внимание
• http://tarantool.org
• https://github.com/tarantool/tarantino
• https://github.com/tarantool/avro-schema
• https://github.com/tarantool/nginx_upstream_module
• andrey@tarantool.org

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group) (20)

More from Ontico (20)

Хранение json-документов в Tarantool / Андрей Дроздов (Mail.ru Group)