Tarantool: как обрабатывать  1,5 млрд запросов в сутки?

Tarantool: как обработать
8
1.5^10 запросов в сутки?

Константин Осипов, Mail.Ru

План
Основные проблемы масштабирования СУБД
Tarantool: решение из области shared nothing
Data patterns
Scalability patterns
Обзор планов

СУБД: современный ландшафт

2 проблемы РСУБД
- горизонтальное масштабирование
- rigid schema
NoSQL – мир энтузиастов:
- новые модели данных
- новые языки доступа к данным
- новые модели консистентности данных
- новые алгоритмы хранения данных
- много, много методов масштабирования

Современный ландшафт
БД
Основные проблемы масштабирования СУБД
Tarantool: решение из области MPI
Data patterns
Scalability patterns
Обзор планов

Модель данных
Пространства
(spaces)
Кортежи
(tuples)
Поля
(fields)
Индексы
(indexes)

Модель данных (2)
Соответствие терминов: Типы данных: Типы индексов:
Tarantool РСУБД NUM HASH
Space Table NUM64 TREE
Field Column STRING

Модель данных (3)
Индексы: простые, составные, уникальные, неуникальные
Операции: INSERT/SELECT/UPDATE/DELETE/REPLACE
Поддерживается простой SQL

PHP интерфейс
$tnt = new Tarantool($host, $port, $admPort);
# $host – хост (def: localhost);
# $port – порт (def: 33013);
# $admPort – административный порт (def: 33015)

PHP: INSERT, UPDATE
define(‘SNO’,0); // номер space
$key = 12345
$tuple = array($key,‘spb’,’Hello Word’);
# если данные существуют, они замещаются
$res = $tnt->insert(SNO, $tuple);
$res = $tnt->delete(SNO, $key, [$flag]);
$data = array(1 => ’msk’, 2 => ‘Hello Hi++!’);
$res = $tnt->update(SNO, $key, $data);
# $key – всегда первичный ключ
# $data – асс. массив № поля => нов. значение

PHP интерфейс: SELECT
$count = $tnt->select(SNO, $index, $key,[$limit,
$offset]);
# $key – ключ, возможен массив;
# $index – номер индекса, по которому
# осуществляется выборка;
# default $limit = 0хFFFFFFFF, $offset = 0;
# Возвращает количество найденных кортежей
# Выборка данных осуществляется методом
$tuple = $tnt->getTuple();

Производительность
Intel I5 , 4G RAM, 7200 RPM SATA
10 потоков, 200-300 байт кортеж
Redis: 120k writes, 270k reads
Tarantool: 100k writes, 260k reads

Auto-increment pattern
Field 0 Field 1 = Phone Field2 = Name
(PK)

1 212-85-01 John Dow
2 212-85-02 Clint Smith
3 967-53-09 Cheryl Wood
4 Новая строка

Auto-increment: PHP
define(S_USER, 1); // номер space USER
define(INC_NO,1); // номер ключа счетчика
define(COUNTER,1); // номер поля счетчика

$key = $tnt->inc(SNO, INC_NO, COUNTER,
[1, true]);
$tnt->insert(NS_USER, $key, $data);

Auto-increment: Lua
function box.auto_increment(spaceno, ...)
max_tuple = box.space[spaceno].index[0].idx:max()
if max_tuple ~= nil then
max = box.unpack('i', max_tuple[0])
else
max = -1
end
return box.insert(spaceno, max + 1, ...)
end

$tnt->call(SNO, “box.auto_increment”, $data);

Pattern FIFO: PHP
primary key
...
index.php
begin pointer
clients.php
end pointer contacts.php

Pattern FIFO: PHP
FIFO POP:
define(END_PTR, 5); // номер ключа End Pointer
$key = $tnt->inc(NS, END_PTR, FD_COUNTER, -1,
true);
$data = $tnt->delete(NS_USER, $key, true);
FIFO PUSH:
define(BEG_PTR, 4); // номер ключа Beg Pointer
$key = $tnt->inc(NS, BEG_PTR,
FD_COUNTER, 1, true);
$tnt->insert(NS_USER, $data);

Pattern FIFO: Lua
function fifo_push(name, val)
fifo = find_or_create_fifo(name)
top = box.unpack('i', fifo[1])
bottom = box.unpack('i', fifo[2])
if top == fifomax+2 then -- % size
top = 3
…
end
return box.update(0, name, '=p=p=p', 1, top,
2, bottom, top, val)
end

Pattern Memcache
• есть возможность создавать свои микро-потоки:
• box.fiber.create(), box.fiber.yield()
• создаёте хранимую процедуру, запускаете её
• получаете custom expire process

• используется для хранения сессий в mail.ru:
4 машины, по 2 Tarantool/Box на каждой, 2 мастера,
и 2 реплики
40-60k requests/second, CPU usage < 20%

Pattern: справочник
Field 0, Primary Field1 = date Field2 = City
INDEX=0 INDEX=1
rizaeyka@mail.ru 2011-05-09 SPB
slavsyper@mail.ru 2011-09-09 MSK

oxic10@mail.ru 2011-10-01 SPB

Масштабирование
0 ...10М Shard 1

Application Tarantool Proxy
10...20М Shard 2

20+ М Shard 3

Что такое Tarantool Proxy
•
Многопоточный демон
•
Отправляет запросы на разные сервера
•
Определение сервера с помощью конфигурационного
файла или плагина

READ/WRITE scaling
Shard 1
0 ...10М
Tarantool Proxy
10...20М Shard 2
SELECT WHERE key=k1,k2
INSERT, UPDATE, Shard 3
DELETE, SELECT 20+ М
0 ...10М Shard 1
WHERE key=PK

Tarantool Proxy 10...20М Shard 2

20+ М Shard 3

Планы
Поддержка транзакций
Мастер-мастер репликация
Кластер менеджер
Tarantool Proxy: load balancing

Спасибо!

kostja.osipov@gmail.com
http://tarantool.org
http://habrahabr.ru/blogs/nosql/

Tarantool: как обрабатывать  1,5 млрд запросов в сутки?

More Related Content

What's hot (20)

Similar to Tarantool: как обрабатывать  1,5 млрд запросов в сутки? (20)

More from tfmailru (20)