dotnext version of "Tarantool, .net, newsql"

Использование Tarantool в
.NET-проектах
Анатолий Попов
Director of Engineering, Net2Phone

Тезисы
• Что такое NewSql? Куда делся NoSql?
• Как использовать Tarantool из .net?
• Производительность progaudi.tarantool
2

Обо мне
•Работаю с .net с 2006 года
•Активно в OSS с 2016 года
3

Тот, кто не помнит прошлого,
обречён на его повторение.
Джордж Сантаяна, Жизнь разума, 1905
4

RDBMS
• General purpose database
• Usually SQL
• Developed since 1990s or so
5

NoSql
• Strozzi NoSQL open-source relational database – 1999
• Open source distributed, non relational databases – 2009
• Types:
• Column
• Document
• KV
• Graph
• etc
6

Цели создания
• Простота: дизайна и администрирования
• Высокая пропускная способность
• Более эффективное использование памяти
• Горизонтальное масштабирование
7

Shiny new code:
• RDBMS are 25 year old legacy code lines that should be retired in
favor of a collection of “from scratch” specialized engines. The DBMS
vendors (and the research community) should start with a clean
sheet of paper and design systems for tomorrow’s requirements, not
continue to push code lines and architectures designed for
yesterday’s needs
“The End of an Architectural Era” Michael Stonebraker et al.
8

Недостатки
• Eventual consistency
• Ad-hoc query, data export/import, reporting
• Шардинг всё ещё сложный
• MySQL is fast enough for 90% websites
10

NewSQL
• Matthew Aslett in a 2011
• Relations and SQL
• ACID
• Бонусы NoSQL
11

NewSQL: код около данных
• VoltDB: Java & sql
• Sql Server: .net & sql native
• Tarantool: lua
12

Sql Server
• Columnstore - 2012
• Hekaton (In-Memory OLTP) - 2014
• Cluster: up to 9 nodes
13

RDBMS: storage model
Id Name Age
1 Вася 20
2 Петя 40
3 Коля 30
14

Tarantool: storage model
Id Name Age
1 Вася 20 123,09 Молоко
2 Петя 40 МГУ
3 Коля 30 Женат
15

Tarantool: storage model
• memtx – in-memory store
• TREE
• HASH
• RTREE
• BITSET
• vinyl – write-mostly store (LSM + BTREE)
• TREE
16

Tarantool: features
• SQL – 2.1 beta
• ACID
• vshard
17

Что такое коннектор/драйвер?
18
Код
Raw Query
NHibernate
Linq
SqlClient
MySQL.Data
Npgsql
Сервер

Что такое коннектор/драйвер?
19
Код Запрос Драйвер Сервер

.net и tarantool
• https://github.com/progaudi/progaudi.tarantool
2 month ago, 1.0.0 is on the way
• https://github.com/donmikel/tarantool-net
2 years ago
• https://github.com/asukhodko/dotnet-tarantool-client
1 year ago
20

progaudi.tarantool
• Поддерживает .netstandard2.0
• Поддерживает Windows, Linux и Mac OSX
• Поддерживает почти весь протокол
• Устанавливается через nuget
21

Фичи
• Полностью асинхронный
• Встроенное мультиплексирование
• Keep-alive
• Автоматическое обновление схемы [1.0+]
22

Интерфейс: вставка
var index = client.GetSchema()["a"]["b"];
await index.Insert((2, "Music", 0.0));
await index.Insert((3, "Music"));
await index.Insert((4, "Music", false, "4th"));
23

Интерфейс: выборка
async Task<IReadOnlyList<AnswerPublishRequest>> GetById(QuestionId
questionId)
{
var answerResponse = await index
.Select<(bool, QuestionId), AnswerPublishRequest>(
(false, questionId),
new SelectOptions
{
Iterator = Iterator.Req
}
);
return answerResponse.Data;
}
24

questionId)
{
new SelectOptions
{
}
);
}
25

questionId)
{
new SelectOptions
{
}
);
}
26

questionId)
{
new SelectOptions
{
}
);
}
27

questionId)
{
new SelectOptions
{
}
);
}
28

questionId)
{
new SelectOptions
{
}
);
}
29

Почему?
• Не надо писать доку
• Люди пойдут и почитают доку к Tarantool
• Полная мимика IProto
• Гибкость
30

questionId)
{
new SelectOptions
{
}
);
}
31

Интерфейс: будет
Task<IReadOnlyList<AnswerPublishRequest>> GetById(QuestionId questionId)
{
var index = client.GetSchema().GetSpace<AnswerPublishRequest>["a"]["b"];
return index.Select((false, questionId), Iterator.Req));
}
32

public interface IIndex
{
Task<DataResponse<TTuple[]>> Select<TKey, TTuple>(TKey key);
Task<DataResponse<TTuple[]>> Insert<TTuple>(TTuple tuple);
}
33

public interface IIndex<TTuple>
{
Task<DataResponse<TTuple[]>> Select<TKey>(TKey key);
Task<DataResponse<TTuple[]>> Insert(TTuple tuple);
}
34

Интерфейс: mini-ORM
[MsgPackArray]
public class ImageInfo : IImageInfo
{
[MsgPackArrayElement(0)]
public int Width { get; set; }
public int Height { get; set; }
public string Link { get; set; }
public string Credits { get; set; }
public string NotSerializedProperty { get; set; }
}
35

Интерфейс: MsgPackToken
public class MsgPackToken
{
public static explicit operator MsgPackToken(uint value)
{
return new MsgPackToken(value);
}
public static explicit operator uint(MsgPackToken token)
{
return token.CastTokenToValue<uint>();
}
36

Tarantool: сервер приложений
•tarantool/queue
•логика на lua
37

tarantool/queue
• Сейчас:
await this.box.Call<((string, string), QueueOptions), MsgPackToken>(
"queue.queue.tube.queue_name:put",
((token.Token, payload), QueueOptions.WithDelay(TimeSpan.Zero)));
• Хочется:
var queue = this.box.GetQueue<(string, string)>("queue_name");
await queue.Put((token.Token, payload), TimeSpan.Zero);
• Работы начну после 1.0 релиза
38

Подводные камни
39

.net core 1.1 DnsEndPoint, linux
• Exception: .NET Core not supporting DnsEndPoint in Socket.Connect.
40
[Fact]
public void DnsTest()
{
var socket = new Socket(SocketType.Stream, ProtocolType.Tcp)
{
NoDelay = true
};
socket.Connect(new DnsEndPoint("www.google.com", 443));
}

.net core 1.1 DnsEndPoint, linux
public async Task DnsTest() {
var socket = new Socket(SocketType.Stream, ProtocolType.Tcp);
var resolved = await Dns.GetHostAddressesAsync("…");
foreach (var addr in resolved) {
try {
await socket.ConnectAsync(addr, 443);
return;
}
catch {} continue;
}
throw new Exception("Can't connect");
}
41

StackExchange.Redis: фичи
• Асинхронность
• Конвейерная обработка
• Мультиплексирование
42

progaudi.tarantool: фичи
• Асинхронность
• Конвейерная обработка
• Мультиплексирование
43

Асинхронность
• TaskCompletionSource<T>
• Custom awaiter
44

Мультиплексирование
• Несколько запросов могут использовать одно соединение
• Sql Server + MARS, HTTP/1.1, HTTP/2, HTTP/3, Redis,…
• RequestId + ConcurrentDictionary<,>
45

Конвейерная обработка
• Чтения и записи из сети разделены
• Запросы отправляются по мере запросов от юзера
• Ответы читаются по мере прихода от сервера
46

StackExchange.Redis
var options = new ConfigurationOptions();
options.EndPoints.Add("localhost", 6379);
options.ClientName = "DotNext : Redis";
var multiplexer = ConnectionMulteplexer.Connect(options);
47

StackExchange.Redis, 1.2.6
• Отдельный поток на запись
48

Отправка сообщений, простой вариант
49
// получение таски
public Task<MemoryStream> GetTaskNaive(RequestId requestId) {
var tcs = _concurrentCache[requestId] = CreateTcs();
return tcs.Task;
}
// запись
lock (_physicalConnection) {
_logWriter?.WriteLine($"Begin sending request");
_physicalConnection.Write(header);
_physicalConnection.Write(body);
}

Отправка сообщений, вариант посложнее
try {
_physicalConnectionLock.EnterWriteLock();
_logWriter?.WriteLine($"Begin sending request");
_physicalConnection.Write(header);
_physicalConnection.Write(body);
}
finally {
_physicalConnectionLock.ExitWriteLock();
}
50

Отправка сообщений, вариант посложнее
try {
_pendingRequestsLock.EnterWriteLock();
var tcs = _cache[requestId] = CreateTcs();
return tcs.Task;
}
finally {
_pendingRequestsLock.ExitWriteLock();
}
51

Отправка сообщений, правильно
52
public void Write(ArraySegment<byte> header, ArraySegment<byte> body)
{
if (_disposed) throw new ODE(nameof(ResponseReader));
_clientOptions?.LogWriter?.WriteLine($"Enqueuing request.");
bool shouldSignal;
lock (_lock) {
_buffer.Enqueue(Tuple.Create(header, body));
shouldSignal = _buffer.Count == 1;
}
if (shouldSignal) _newRequestsAvailable.Set();
}

private void WriteFunction() {
var handles = new[]{ _exitEvent, _newRequestsAvailable};
while (true) {
switch (WaitHandle.WaitAny(handles)) {
case 0: return;
case 1: WriteRequests(200); break;
default:
throw new ArgumentOutOfRangeException();
}
}
}
53

Tuple<ArraySegment<byte>, ArraySegment<byte>> request;
var count = 0;
while ((request = GetRequest()) != null) {
WriteBuffer(request.Item1);
WriteBuffer(request.Item2);
count++;
if (limit > 0 && count > limit) break;
}
lock (_lock)
if (_buffer.Count == 0)
_newRequestsAvailable.Reset();
_physicalConnection.Flush();
54

Keep-alive
• Options.ConnectionOptions.PingCheckTimeout
• Служебный пакет Ping
• Переподключение почти прозрачно для юзера
• Перепосылку запроса мы пока не делаем
55

Чтение
• Читаем пачку байт
• Парсим всю пачку перед тем, как читать следующую
• Если остался хвост, переносим его в начало пачки
• Первые пять байт пакета – это длина, очень удобно
56

А что со скоростью?
•Бенчмарк: 1М вставок в пустой temporary space
•Go: ≈215k RPS
Insert took 4.651657s
•.net: ≈27k RPS
30-45 sec per 1M inserts
57

А что мы тестируем?
var lst = new Task[1000000];
for (int i = 0; i < lst.Length; i++)
{
lst[i] = space.Insert((i, new[] { i, i }, i));
}
Task.WaitAll(lst);
58

Уменьшим размер пачки
// 30 секунд, 30к RPS, стабильно
var lst = new Task[1000];
for (var i = 0; i < 1_000_000; i++) {
lst[i % 1000] = space.Insert((i, (i, i), i));
if (i % 1000 == 999)
Task.WaitAll(lst);
}
59

Запрос в Тарантул
60
Box
Task 1
Запрос

61
Box MsgPack
Заголовок
Заголовок

62
Box MsgPack
Тело
Заголовок
Тело

Ответ от Тарантула
63
Сервер Box
Поток
байт
Task 1
Ответ
MsgPack

Сериализация: было
64
MsgPack Data

Сериализация: стало
65
MsgPack Length
MemoryPool
Rented
buffer

Результаты
• 60k RPS, 16 sec
• Если вставлять сразу 1М, то 18 sec, 55K RPS
• Не до конца проверенные: ~12 sec, 80k RPS
66

Новые абстракции
67
• Span<T> - ref stackonly struct
• Memory<T> - struct
• IMemoryOwner<T>

Span<T>: цена, C#
68
private const uint _length = 100;
private uint _baseInt = 99000;
private readonly byte[] _buffer = ArrayPool<byte>.Rent(short.MaxValue);
[Benchmark]
public int Span() {
var buffer = _buffer.AsSpan();
var i = 0;
for (; i < _length; i++) {
_baseInt -= 1000u;
MsgPackSpecSpan.WriteUInt32(buffer.Slice(5 * i), _baseInt);
}
return i;
}

Span<T>: цена, C
char buf[65535];
extern uint32_t serializeInts(uint32_t size) {
char *w = buf;
uint32_t base = 99000, idx = 0;
for (; idx < size; ++idx) {
base -= 1000;
w = mp_encode_uint(w, base);
}
return idx;
}
69

Span<T>: цена, C++
uint32_t base = 99000, idx = 0;
sbuffer buffer;
packer<sbuffer> pk(&buffer);
for (; idx < size; ++idx) {
base -= 1000;
pk.pack(base);
}
return idx;
70

Span<T>: цена, C# pointers
public unsafe int Pointers()
{
fixed (byte* pointer = &_buffer[0]) {
var i = 0;
_baseInt -= 1000;
MsgPackSpecPointer.WriteUInt32(pointer, 5 * i, _baseInt);
}
return i;
}
}
71

Span<T>: результаты
72

Span<T>: цена, SpanConst
73
[Benchmark]
public int Span() {
var i = 0;
_baseInt -= 1000u;
MsgPackSpecSpan.WriteUInt32(buffer.Slice(5 * i), _length);
}
return i;
}

Span<T>: цена, C#
74
[Benchmark]
public int Span() {
var i = 0;
_baseInt -= 1000u;
MsgPackSpecSpan.WriteUInt32(buffer.Slice(5 * i), _baseInt);
}
return i;
}

Span<T>: цена, SpanConst
75
[Benchmark]
public int Span() {
var i = 0;
_baseInt -= 1000u;
MsgPackSpecSpan.WriteUInt32(buffer.Slice(5 * i), _length);
}
return i;
}

Span<T>: цена, WriteUInt32
76
[MethodImpl(MethodImplOptions.AggressiveInlining)]
public static int WriteUInt32(Span<byte> buffer, uint value)
{
if (value <= DataCodes.FixPositiveMax)
return WritePositiveFixInt(buffer, (byte) value);
if (value <= byte.MaxValue)
return WriteFixUInt8(buffer, (byte) value);
if (value <= ushort.MaxValue)
return WriteFixUInt16(buffer, (ushort) value);
return WriteFixUInt32(buffer, value);
}

Span<T>: цена, WriteUInt32
77
[MethodImpl(MethodImplOptions.AggressiveInlining)]
public static int WriteUInt32(Span<byte> buffer, uint value)
{
return WriteFixUInt8(buffer, (byte) value);
}

IMemoryOwner<T>
• var buffer = MemoryPool<T>.Shared.Rent(100)
• buffer.Length = ????
78

FixedMemoryOwner<T>
https://www.nuget.org/packages/progaudi.buffers/ 79
• Default:
return new Memory<T>(array);
• Fixed:
return new Memory<T>(array, 0, _size);

Bounds check
[Benchmark(Baseline = true)]
public int Classic() {
Span<byte> span = _buffer;
span[0] = 0;
span[1] = 128;
return 2;
}
[Benchmark]
public int EgorBogatov() {
Span<byte> span = _buffer;
span[1] = 128;
span[0] = 0;
return 2;
}
80

Выводы
• Производительность - фича
• Знайте ваш рантайм
• Проектируйте тесты правильно
83
Анатолий Попов
Net2Phone, Director of Engineering
me@aensidhe.ru
https://github.com/aensidhe

Список литературы про NewSql
• http://www.christof-strauch.de/nosqldbs.pdf
• https://habr.com/company/oleg-bunin/blog/413557/
84

dotnext version of "Tarantool, .net, newsql"

More Related Content

What's hot (20)

Similar to dotnext version of "Tarantool, .net, newsql" (20)

dotnext version of "Tarantool, .net, newsql"