2013-01-05 01 Леонид Евдокимов. Web scale. Взорвется все
- 1. Web Scale Взорвётся всё Леонид Евдокимов Второй омский IT-субботник, январь 2013, vk.com/omskit
- 2. О чём Juggler рост нагрузки с 1k до 10k машин MongoDB о свойствах и особенностях Python о доставке сигналов смеха для MySQL о пользе суррогатных ключей Linux об учете накладных расходов FreeBSD о внезапной сложности простого
- 3. Juggler Система мониторинга событий Внутри: MySQL, MongoDB, Python В обвязке: nginx или lighttpd, flup или uWSGI Подробнее: «Мониторинг со всех сторон» YaC 2011, Алексей Симаков, clck.ru/L5GF
- 4. MongoDB NoSQL СУБД Быстрая как /dev/null Не использует JOIN mongodb-is-webscale.com
- 5. MongoDB find({x:1}) vs. update({x:1}, {$set:{pad:"A…A"}})
- 6. MongoDB > find({x: 1}) {"_id": ObjectId("4f…c3"), "x": 1 } {"_id": ObjectId("4f…c3"), "x": 1, "pad": "A…A" } > v2.0.2 — взорвано
- 7. MongoDB double-update ≈ ½ quad damage > update(..., {$push: {big object}}) «Scaling with MongoDB» by Michael Schurter 2011 Слушатель, доверяй, но проверяй!
- 8. MongoDB /usr/bin/mongod vs. /usr/sbin/logrotate
- 9. MongoDB jira/SERVER-3339 — при ротации логов… … stackoverflow в обработчике SIGABRT … deadlock в malloc() Починка базы медленнее, чем MyISAM!
- 10. MongoDB jira/SERVER-3339 — при ротации логов… … stackoverflow в обработчике SIGABRT … deadlock в malloc() Починка базы медленнее, чем MyISAM! Ответ: db.runCommand("logRotate")
- 13. Python /usr/lib/python2.7/multiprocessing vs. /usr/sbin/logrotate
- 14. Python bugs/issue8296 — про multiprocessing Происходит deadlock из-за EINTR и смерти одного из тредов …ох уж эти сигналы! Ответ: kill -9 -${sid} :-)
- 15. MongoDB & Python Окончательный ответ на вопрос logrotate, доставки сигналов и всего такого: «Delivering Signals for Fun and Profit» by Michal Zalewski clck.ru/4RGgy always look on the bright side of life vulnerability
- 16. MySQL На этот раз не про сигналы
- 17. MySQL На этот раз не про сигналы В mysql все сигналы обрабатываются в отдельном потоке На этот раз — про JOIN
- 18. MySQL LEFT JOIN vs. RIGHT OUTER JOIN
- 19. MySQL LEFT JOIN vs. RIGHT OUTER JOIN На самом деле - нет
- 20. MySQL SELECT … FROM t1 LEFT JOIN t2 ON t1.type = 'HOST' AND t1.host_name = t2.object_name AND t1.check_name = t2.check_name LEFT JOIN t1_1 … LEFT JOIN t2_1 … RIGHT OUTER JOIN t1_2 …
- 21. MySQL mysqld: Incorrect key file for table '/var/tmp/#sql17161_b3_3.MYI'; try to repair it
- 22. MySQL SELECT … FROM t1 LEFT JOIN t2 ON t1.type = 'HOST' AND t1.host_name = t2.object_name AND t1.check_name = t2.check_name … host_name, object_name, check_name - varchar(128) COLLATE utf8_bin
- 23. MySQL MEMORY maximum key length is 3072 bytes MyISAM maximum key length is 1000 bytes
- 24. MySQL MEMORY maximum key length is 3072 bytes MyISAM maximum key length is 1000 bytes Created_tmp_disk_tables: MEMORY → MyISAM
- 25. MySQL MEMORY maximum key length is 3072 bytes MyISAM maximum key length is 1000 bytes Created_tmp_disk_tables: MEMORY → MyISAM При выходе за key_len: MEMORY ↴ MyISAM BADABOOM storage engine
- 26. MySQL Помогают… … суррогатные INTEGER ключи … tmp_table_size & max_heap_table_size You can’t hardware yourself out of a performance problem you softwared yourself into. – Cary Millsap
- 27. Linux & FreeBSD
- 28. Linux /bin/ping vs. setsockopt(fd, SO_RCVBUF, …)
- 29. Linux SO_RCVBUF … The kernel doubles this value (to allow space for bookkeeping overhead). – man 7 socket
- 30. Linux А теперь пошлем ICMP PING на 10000 хостов Перенесем «пинговалку» в vm на основе KVM …
- 31. Linux Задержка пакета от входа до recvmsg() возросла в десятки раз (пики до 50ms!) RCVBUF, кажется, достаточно большой для нескольких тысяч 28-байтных пакетов Но входящие PONG не помещаются в RCVBUF при такой задержке
- 32. Linux Измеряем: gist.github.com/4454323 «Bookkeeping overhead» до ¾ kbyte / pkt Накладные расходы в ≈27.5 раз выше описанных в man page
- 33. Linux ICMP PING — не очень интересен Что происходит в UDP (VoIP, игры) сокетах? Почему KVM настолько повышает latency?
- 34. FreeBSD rename() vs. FreeBSD-8.2
- 35. FreeBSD Сказ о rename() и о том, как скушать все PID'ы и уснуть в D-state ● В N потоков: rename(tmp, dest_dir) ● В M потоков: exists(dest_dir/fname) ● Порождать новый worker-поток, если старый не ответил за время T
- 36. FreeBSD В FreeBSD-9.0 VFS уже починили и этот deadlock в rename() исчез Ответ: pool, queue & two strict ulimits
- 37. IT Окончательный ответ на вопрос разработки, протекающих абстракций и всего такого: Закон больших чисел Взорвётся всё Даже /dev/null. Я не шучу.
- 38. Q&A Леонид Евдокимов, разработчик ПО leon@darkk.net.ru || http://darkk.net.ru AKA @mathemonkey