Тонкости работы трассирующего JIT-компилятора / Антон Солдатов (IPONWEB)

Тонкости работы
трассирующего
JIT-компилятора
Антон Солдатов, IPONWEB
Москва, 7 ноября 2017 г.

IPONWEB
● Технологические решения в сфере онлайн-рекламы
● Работаем с нагрузками порядка 5M RPS
● Сложный технологический стек
● Сервер приложений
● Интерпретатор Lua для реализации бизнес-логики

Lua в IPONWEB
● Использовали LuaJIT (1.x, 2.0) более 9 лет
● Q2 2015: Форкнули LuaJIT (Linux, x64)
● 2015-2016: Разработка, стабилизация, первые миграции
● Q1 2017: Мигрировали более 95% серверов
● 2017: Поддержка, работа над новой функциональностью

Над чем работали (2015 – 2017 гг.)?
● "Проблема гигабайта"

● Новая функция хэширования строк

● Тесты

● Тесты
● Неизменяемые объекты

● Тесты
● Завершение корутин по тайм-ауту

● Тесты
● Завершение корутин по тайм-ауту
● Профилировщик, новые утилиты

Осень 2016 г.
● Решены самые насущные проблемы
● Первые миграции
● Задача – проанализировать работу JIT-компилятора

● Несколько проектов
● Сервер с выключенным компилятором
● Сервер с включенным компилятором
Анализ производительности JIT-компилятора

Тонкости работы трассирующего JIT-компилятора / Антон Солдатов (IPONWEB)

Как работает трассирующий JIT-компилятор?

Какие были инструменты для анализа?
● Количественно: Graphite, скорость работы системы
● Качественно: luajit -jdump

Какие были инструменты для анализа?
● Количественно: Graphite, скорость работы системы
● Качественно: luajit -jdump
● luajit-web-inspector
● loom
● studio (RaptorJIT)
Что появилось за последний год?

---- TRACE 1 start (command line):1
0006 ADDVV 0 0 4
0007 FORL 1 => 0006
---- TRACE 1 IR
0001 int SLOAD #2 CI
0002 > num SLOAD #1 T
0003 num CONV 0001 num.int
0004 + num ADD 0003 0002
0005 + int ADD 0001 +1
0006 > int LE 0005 +100
0007 ------ LOOP ------------
0008 num CONV 0005 num.int
0009 + num ADD 0008 0004
0010 + int ADD 0005 +1
0011 > int LE 0010 +100
0012 int PHI 0005 0010
0013 num PHI 0004 0009
luajit -jdump
---- TRACE 1 mcode 76
12a0effac mov dword [0x000424a0], 0x1
12a0effb7 cvtsd2si ebp, [rdx+0x8]
12a0effbc cmp dword [rdx+0x4], 0xfffeffff
12a0effc3 jnb 0x12a0e0010 ->0
12a0effc9 xorps xmm7, xmm7
12a0effcc cvtsi2sd xmm7, ebp
12a0effd0 addsd xmm7, [rdx]
12a0effd4 add ebp, +0x01
12a0effd7 cmp ebp, +0x64
12a0effda jg 0x12a0e0014 ->1
->LOOP:
12a0effe0 xorps xmm6, xmm6
12a0effe3 cvtsi2sd xmm6, ebp
12a0effe7 addsd xmm7, xmm6
12a0effeb add ebp, +0x01
12a0effee cmp ebp, +0x64
12a0efff1 jle 0x12a0effe0 ->LOOP
12a0efff3 jmp 0x12a0e001c ->3
---- TRACE 1 stop -> loop

Какова методика анализа?
● Сервер с продуктовой нагрузкой
● Включаем дампер на 10-15 минут
● Анализируем собранные данные

Проблема №0: Инструментарий

src/jit/bc.lua:
local ma, mb, mc = band(m, 7), band(m, 15*8), band(m, 15*128)
local a = band(shr(ins, 8), 0xff)
local oidx = 6*band(ins, 0xff)
local op = sub(bcnames, oidx+1, oidx+6)
local s = format("%04d %s %-6s %3s ",
pc, prefix or " ", op, ma == 0 and "" or a)
local d = shr(ins, 16)
if mc == 13*128 then -- BCMjump
return format("%s=> %04dn", s, pc+d-0x7fff)
end
Исходный код

● 700 Мб данных на рабочий поток
● 3500 скомпилированных трасс
● Неудачные попытки компиляции
● Дампы регистров при выходе из трассы
Объем данных

Анализировать вручную невозможно

● Переписали на C
Решение

● Написали анализатор (совместим с LuaJIT)
https://github.com/iponweb/dumpanalyze
Решение

● Написали анализатор (совместим с LuaJIT)
https://github.com/iponweb/dumpanalyze
● Сгруппированные "кусты" трасс
● Статистика по скомпилированным трассам
● Статистика по неудачным попыткам компиляции
Решение

Проблема №1: Большое число точек входа

SSP Ромашка
SSP Одуванчик
SSP N
Общая RTB-логика
Архитектура приложения

SSP Ромашка
SSP N
Как компилируется?

SSP Ромашка
SSP N
Больше двухсот модулей

Завершаем трассирование на выходе из общего модуля
Решение

Проблема №2: Ключи-литералы в таблицах

local x = t.foo
hash("foo") & (size - 1)
size
Доступ по ключу

local x = t.foo
hash("foo") & (size2 - 1)
size2
Доступ по ключу

Если размер меняется – выходим из трассы

local data = {
{["prop1"] = "value-1", ["prop2"] = 42},
{["prop1"] = "value-2", ["prop2"] = 43},
{["prop1"] = "value-3", ["prop2"] = 44},
{["prop1"] = "value-4", ["prop2"] = 45},
{["prop1"] = "value-5", ["prop2"] = 46},
{["prop1"] = "value-6", ["prop2"] = 47},
{["prop1"] = "value-7", ["prop2"] = 48},
-- ...
}
Поток объектов похожей структуры

● Смартфон
● Приложение
● Геолокация
● Баннер
● Настольный ПК
● Сайт
● Do Not Track
● Видео
● Смартфон
● Сайт
● Do Not Track
● Аудио-ролик
Поток объектов различной структуры

Десятки параметров

Отключаем "быстрое" индексирование
Решение

Проблема №3: Выход боковых трасс из циклов

for i = 1, N do
foo()
if i > 1000 then
bar()
end
end
baz()
Компилируемый цикл

for i = 1, N do
foo()
if i > 1000 then
bar()
end
end
baz()
Код вне цикла

Выводы
● Инструменты общего назначения могут не справляться со
спецификой бизнес-задач.
● Мы стали добавлять опции в компилятор, тестировали,
сравнивали.
● Локальные изменения улучшили производительность на
10%.
● Экосистеме LuaJIT'а нужно помочь с инструментами
аналитики.

Ссылки
О нашей реализации:
● http://bit.ly/iow-hl-2016
● http://bit.ly/iow-lim-2017-03
● http://bit.ly/sdcast-56
Инструменты аналитики:
● http://bit.ly/dumpanalyze
● http://bit.ly/cloudflare-loom
● http://bit.ly/luajit-web-inspector
● http://bit.ly/raptorjit-studio

Вопросы
asoldatov@iponweb.net
https://www.linkedin.com/in/antonsoldatov/

Тонкости работы трассирующего JIT-компилятора / Антон Солдатов (IPONWEB)

More Related Content

What's hot (16)

Similar to Тонкости работы трассирующего JIT-компилятора / Антон Солдатов (IPONWEB) (20)

More from Ontico (20)

Тонкости работы трассирующего JIT-компилятора / Антон Солдатов (IPONWEB)