Что нужно знать о трёх топовых фичах MySQL
0 likes518 views
Документ представляет собой подробный обзор ключевых функций MySQL, включая табличные движки, репликацию и функции работы с JSON. Обсуждаются особенности использования InnoDB и других движков, а также важные настройки производительности и управления потоками. Доклад также затрагивает документацию и ресурсы для дальнейшего изучения.
Что нужно знать о трёх топовых фичах MySQL
- 1. Что нужно знать о трёх топовых фичах MySQL August, 22, 2019 Sveta Smirnova
- 2. ∙ Инженер тех. поддержки MySQL ∙ Автор ∙ MySQL Troubleshooting ∙ JSON UDF функции ∙ FILTER clause для MySQL ∙ Докладчик ∙ Percona Live, OOW, Fosdem, DevConf, HighLoad... Света Смирнова 2
- 6. Connectors: C, JDBC, ODBC, Python, ... Connection Pool: Authentication, Caches SQL interface Parser Optimizer Caches and Buffers: Global Engine-specific Storage engines: InnoDB, TokuDB, ... File system: Data, Index, logs, other files ∙ mysqld и его файлы ∙ Коннекторы ∙ Оптимизатор ∙ Кэши ∙ Табличные движки ∙ Управление Архитектура MySQL 6
- 7. ∙ Владеют данными ∙ Собственный формат индексов ∙ Собственные блокировки ∙ Собственная диагностика ∙ Собственные журналы ∙ CHECK TABLE Табличные Движки 7
- 8. ∙ InnoDB ∙ Сначала пишет в redo log и buffer pool ∙ Асинхронно копирует в файлы таблиц ∙ Мы не можем скопировать только tablespaces сразу после записи: новые данные будут только в redo logs и buffer pool Каждый Хранит Данные По-своему 8
- 9. ∙ InnoDB ∙ MyISAM, CSV, ... ∙ Сразу изменяет файлы данных ∙ Просто реализовать бинарный бэкап ∙ Изменения нельзя откатить Каждый Хранит Данные По-своему 8
- 10. ∙ InnoDB ∙ MyISAM, CSV, ... ∙ Blackhole ∙ Игнорирует все записи Каждый Хранит Данные По-своему 8
- 11. ∙ InnoDB ∙ MyISAM, CSV, ... ∙ Blackhole ∙ Federated ∙ Читает и пишет с удалённого сервера ∙ Зависит от соединения и табличного движка оригинальной таблицы Каждый Хранит Данные По-своему 8
- 12. ∙ Сервер ∙ Метаданных (MDL) защищают структуру ∙ Табличные защищают данные Имплицитно LOCK TABLES Взаимодействие с Сервером: Блокировки 9
- 13. ∙ Сервер ∙ Табличный движок ∙ Строковые ∙ Табличные ∙ Какие угодно ∙ Не коррелируют с серверными Взаимодействие с Сервером: Блокировки 9
- 14. ∙ Сервер ∙ Табличный движок ∙ Возможны неопределяемые "дедлоки" Взаимодействие с Сервером: Блокировки 9
- 15. ∙ Обычно префиксом engine_name_ ∙ У MyISAM есть несколько исключений Как Найти Опции Движка? 10
- 16. ∙ Обычно начинаются с engine_name ∙ myisamchk ∙ myisam_ftdump ∙ myisampack Как Найти Инструменты Движка? 11
- 17. ∙ Обычно начинаются с engine_name ∙ Иногда только часть engine_name ∙ innochecksum ∙ tokuftdump ∙ tokuft_logprint Как Найти Инструменты Движка? 11
- 19. ∙ Транзакционный ∙ Каждый запрос - часть транзакции! ∙ Даже SELECT READ ONLY транзакции в 5.6+ InnoDB Вкратце 13
- 20. ∙ Транзакционный ∙ Поддерживает MVCC ∙ Хранит старые версии до тех пор пока все транзакции, которые могут их запросить, завершили работу InnoDB Вкратце 13
- 21. ∙ Транзакционный ∙ Поддерживает MVCC ∙ ACID ∙ Atomicity ∙ Consistency ∙ Isolation ∙ Durability InnoDB Вкратце 13
- 22. ∙ Транзакционный ∙ Поддерживает MVCC ∙ ACID ∙ Физическое расположение ∙ Системный (shared) tablespace ∙ Redo log ∙ Индивидуальные tablespaces InnoDB Вкратце 13
- 23. ∙ Системный tablespace ∙ InnoDB data dictionary Метаданные ∙ Doublewrite buffer Хранит страницу после удаления из Buffer Pool и до записи в нужное место Для восстановления после крэша во время записи страницы ∙ Change buffer Кэш изменений вторичных индексов Если их нет в Buffer Pool ∙ Undo log (rollback segment) Копии данных, изменённых активными транзакциями Могут храниться отдельно в 5.6+ Структуры InnoDB 14
- 24. ∙ Системный tablespace ∙ Buffer pool ∙ В памяти ∙ Кэш данных и индексов ∙ Устаревшие данные удаляются с применением LRU алгоритма Структуры InnoDB 14
- 25. ∙ Системный tablespace ∙ Buffer pool ∙ Redo log ∙ Кодированные изменения страниц ∙ Записываются в циклической манере ∙ Незавершенные записи в файлы таблиц проигрываются из журнала после крэша Структуры InnoDB 14
- 26. ∙ Системный tablespace ∙ Buffer pool ∙ Redo log ∙ File-Per-Table Tablespaces ∙ Данные и индексы таблицы ∙ Поддерживают разные форматы ∙ Могут храниться на разных дисках Структуры InnoDB 14
- 27. ∙ Больше потоков - больше работы может быть выполнено одновременно Конкуренция 15
- 28. ∙ Больше потоков - больше работы может быть выполнено одновременно ∙ Поток InnoDB ̸= соединение ∙ Соединения могут бездействовать пока InnoDB выполняет свою работу ∙ Если активных соединений (Running_threads) больше, чем потоков InnoDB Часть ждёт в очереди Конкуренция 15
- 29. ∙ Больше потоков - больше работы может быть выполнено одновременно ∙ Поток InnoDB ̸= соединение ∙ Ограничено количеством ядер CPU Конкуренция 15
- 30. ∙ Больше потоков - больше работы может быть выполнено одновременно ∙ Поток InnoDB ̸= соединение ∙ Ограничено количеством ядер CPU ∙ Слишком большое количество потоков может привести к конфликтам ∙ Производительность уменьшится ∙ Сервер зависнет! Конкуренция 15
- 31. ∙ Больше потоков - больше работы может быть выполнено одновременно ∙ Поток InnoDB ̸= соединение ∙ Ограничено количеством ядер CPU ∙ Слишком большое количество потоков может привести к конфликтам ∙ innodb_thread_concurrency Конкуренция 15
- 32. 1 2 4 8 16 32 64 128 256 10 15 20 Number of threads Transactionspersecond Taken on 8-cores laptop Неоправданно большое количество потоков 16
- 33. ∙ Меньше записи-чтения ∙ Больше производительность ∙ Выше риск потери данных Ввод-Вывод: Производительность 17
- 34. ∙ Меньше записи-чтения ∙ Больше производительность ∙ Выше риск потери данных ∙ Не всегда нужно снижать количество операций ввода-вывода ∙ Быстрые диски ∙ Приложение много пишет Ввод-Вывод: Производительность 17
- 35. ∙ Обязательные ∙ innodb_flush_method ∙ innodb_log_file_size ∙ innodb_io_capacity Настройка ввода-вывода для InnoDB 18
- 36. ∙ Обязательные ∙ С риском потери данных ∙ innodb_doublewrite ∙ innodb_flush_log_at_trx_commit ∙ innodb_flush_log_at_timeout ∙ Изменяйте только на репликах! Настройка ввода-вывода для InnoDB 18
- 37. ∙ innodb_buffer_pool_size ∙ innodb_log_file_size ∙ innodb_thread_concurrency ∙ innodb_io_capacity ∙ innodb_flush_method Топ настроек InnoDB 19
- 38. Репликация
- 39. ∙ Начиная с очень ранних версий Репликация в MySQL 21
- 40. ∙ Начиная с очень ранних версий ∙ Легко использовать Репликация в MySQL 21
- 41. ∙ Начиная с очень ранних версий ∙ Легко использовать ∙ Минимальные настройки Репликация в MySQL 21
- 42. ∙ Мастер ∙ –log-bin ∙ –server-id ∙ GRANT REPLICATION SLAVE ON *.* ... Как включить 22
- 43. ∙ Мастер ∙ –log-bin ∙ –server-id ∙ GRANT REPLICATION SLAVE ON *.* ... ∙ Слейв ∙ –server-id ∙ CHANGE MASTER ... ∙ START SLAVE Как включить 22
- 44. Простая 23
- 45. Круговая 24
- 46. Звезда 25
- 47. Креативная 26
- 49. Мастер Слейв ← Инициирует ← Запрашивает пакет Асинхронная 27
- 50. Мастер Пересылает пакет → Слейв ← Инициирует ← Запрашивает пакет Асинхронная 27
- 51. Мастер Пересылает пакет → Слейв ← Инициирует ← Запрашивает пакет ... ? Асинхронная 27
- 52. IO thread Читает с мастера SQL thread Два Типа Потоков Слейва 28
- 53. IO thread Читает с мастера Записывает в relay log SQL thread Два Типа Потоков Слейва 28
- 54. IO thread Читает с мастера Записывает в relay log SQL thread ← Читает из relay log Два Типа Потоков Слейва 28
- 55. IO thread Читает с мастера Записывает в relay log SQL thread ← Читает из relay log Выполняет Два Типа Потоков Слейва 28
- 56. ∙ Прост в отладке Единственный SQL Thread 29
- 57. ∙ Прост в отладке ∙ Обычно медленнее мастера ∙ Высоконкурентная нагрузка Единственный SQL Thread 29
- 59. Записи на Слейве: Один SQL Thread 31
- 60. Несколько SQL Threads: 5.6+ 32
- 62. Master Получает изменение Передаёт движку → Табличный Движок Логическая 33
- 63. Master Получает изменение Передаёт движку → Табличный Движок Пишет в таблицу Логическая 33
- 64. Master Получает изменение Передаёт движку → Табличный Движок Пишет в таблицу ← Возвращает контроль Логическая 33
- 65. Master Получает изменение Передаёт движку → Пишет в binary log Табличный Движок Пишет в таблицу ← Возвращает контроль Логическая 33
- 66. Master Получает изменение Передаёт движку → Пишет в binary log Синхронизируется → Табличный Движок Пишет в таблицу ← Возвращает контроль ← Синхронизируется Логическая 33
- 67. Клиент Binary log Statement-Based Binary Log Format 34
- 68. Клиент INSERT INTO ... → Binary log Statement-Based Binary Log Format 34
- 69. Клиент INSERT INTO ... → Binary log SET TIMESTAMP... Statement-Based Binary Log Format 34
- 70. Клиент INSERT INTO ... → Binary log SET TIMESTAMP... SET sql_mode... Statement-Based Binary Log Format 34
- 71. Клиент INSERT INTO ... → Binary log SET TIMESTAMP... SET sql_mode... INSERT INTO ... Statement-Based Binary Log Format 34
- 72. Клиент Binary log Row-Based Binary Log Format 35
- 73. Клиент UPDATE ... → Binary log Row-Based Binary Log Format 35
- 74. Клиент UPDATE ... → Binary log SET TIMESTAMP... Row-Based Binary Log Format 35
- 75. Клиент UPDATE ... → Binary log SET TIMESTAMP... SET sql_mode... Row-Based Binary Log Format 35
- 76. Клиент UPDATE ... → Binary log SET TIMESTAMP... SET sql_mode... Строка до изменений Row-Based Binary Log Format 35
- 77. Клиент UPDATE ... → Binary log SET TIMESTAMP... SET sql_mode... Строка до изменений Строка с изменениями Row-Based Binary Log Format 35
- 78. ∙ Нужно указать ∙ Название binary log ∙ Позицию Позиционная 36
- 79. ∙ Нужно указать ∙ Название binary log ∙ Позицию ∙ С точки зрения отладки ∙ Выполнение с указанной позиции Позиционная 36
- 80. ∙ Нужно указать ∙ Название binary log ∙ Позицию ∙ С точки зрения отладки ∙ Выполнение с указанной позиции ∙ Легко пропустить Позиционная 36
- 81. ∙ Нужно указать ∙ Название binary log ∙ Позицию ∙ С точки зрения отладки ∙ Выполнение с указанной позиции ∙ Легко пропустить ∙ Легко переместить назад Позиционная 36
- 82. ∙ Нужно указать ∙ Название binary log ∙ Позицию ∙ С точки зрения отладки ∙ Выполнение с указанной позиции ∙ Легко пропустить ∙ Легко переместить назад ∙ Все конфликты - ваши Позиционная 36
- 83. ∙ У каждой транзакции свой номер: GTID Global Transaction Identifiers (GTID) 37
- 84. ∙ У каждой транзакции свой номер: GTID ∙ Название binary log и позиция не нужны ∙ AUTO_POSITION=1 Global Transaction Identifiers (GTID) 37
- 85. ∙ У каждой транзакции свой номер: GTID ∙ Название binary log и позиция не нужны ∙ Сложно пропустить ошибочные записи Global Transaction Identifiers (GTID) 37
- 86. ∙ У каждой транзакции свой номер: GTID ∙ Название binary log и позиция не нужны ∙ Сложно пропустить ошибочные записи ∙ Не все команды разрешены ∙ Транзакционные и нетранзакционные движки ∙ CREATE TABLE ... SELECT ∙ Временные таблицы 8.0.13+: разрешены при RBR Global Transaction Identifiers (GTID) 37
- 87. ∙ Синхронизация binary log и таблицы Табличные Движки и Репликация 38
- 88. ∙ Синхронизация binary log и таблицы ∙ SBR и transaction isolation levels mysql> set transaction isolation level read committed; Query OK, 0 rows affected (0,00 sec) mysql> update t1 set f1=f1*2; ERROR 1665 (HY000): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDB is limited to row-logging when transaction isolation level is READ COMMITTED or READ UNCOMMITTED. Табличные Движки и Репликация 38
- 89. ∙ Синхронизация binary log и таблицы ∙ SBR и transaction isolation levels ∙ RBR - независимый от движка формат Табличные Движки и Репликация 38
- 90. ∙ Синхронизация binary log и таблицы ∙ SBR и transaction isolation levels ∙ RBR - независимый от движка формат ∙ GTIDs независимы от движка Табличные Движки и Репликация 38
- 91. ∙ Синхронизация binary log и таблицы ∙ SBR и transaction isolation levels ∙ RBR - независимый от движка формат ∙ GTIDs независимы от движка ∙ У движка могут быть свои специфические фичи для репликации ∙ Read free репликация в TokuDB Табличные Движки и Репликация 38
- 92. NoSQL
- 93. ∙ Функции JSON ∙ MySQL Shell ∙ Document Store ∙ Memcached API Что Поддерживает MySQL 40
- 94. ∙ Манипулируют документами JSON ∙ Создают JSON_OBJECT JSON_ARRAY ∙ Ищут JSON_EXTRACT column->path ∙ Модифицируют JSON_INSERT JSON_SET Функции JSON 41
- 95. ∙ Манипулируют документами JSON ∙ Тип данных JSON ∙ Оптимизированное хранилище ∙ Автоматическая валидация Функции JSON 41
- 96. ∙ Манипулируют документами JSON ∙ Тип данных JSON ∙ Может работать со строками ∙ Медленно ∙ Автоматическая валидация не поддерживается Функции JSON 41
- 97. ∙ Командный клиент ∙ Поддерживает Python и JavaScript MySQL Shell 42
- 98. ∙ Доступ из MySQL Shell ∙ Поддерживает ∙ Python, JavaScript, C#, C++, Java ∙ Your driver ∙ X Plugin: асинхронный клиент X Protocol X DevAPi ∙ Данные хранятся в реляционном формате MySQL как Document Store 43
- 99. ∙ Интерфейс к memcached ∙ Доступ ключ-значение ∙ Данные хранятся в InnoDB ∙ Могут быть кэшированы ∙ Кэш может быть настроен для высокой производительности ∙ Умолчания: только прямой доступ, высокая надёжности, фактически никакого кэша Memcached API 44
- 100. ∙ Вебинары Introduction to MySQL Troubleshooting Storage engines troubleshooting InnoDB Troubleshooting MySQL Replication Troubleshooting Дополнительная Информация 45
- 101. ∙ Мануалы The InnoDB Storage Engine Replication JSON Functions MySQL as a Document Store InnoDB memcached Plugin Дополнительная Информация 45