Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
Download as PPTX, PDF2 likes3,982 views
Документ охватывает тему асинхронности в веб-приложениях, выделяя использование системы очередей Gearman в сочетании с PHP и фреймворком Yii2. Рассматриваются принципы работы асинхронного выполнения задач, его преимущества и недостатки, а также предлагаются практические решения и примеры реализации. В заключение предоставляются ссылки на ресурсы и дополнительные материалы для дальнейшего изучения.
![Систему очередей Gearman.
Потенциальные узкие места:
1. Неожиданное завершение работы задачи
- Проверка всех уровней эксепшнов
- Код Задач должен быть хорошо оттестирован
- Хранение статуса операций, необходимых задачам в отдельном месте
1. Неожиданное завершение работы Worker процесса
- Использование утилиты, управляющей процессами (хороший пример
Supervisor)
[program:worker]
command=/usr/bin/php /var/www/worker.php
process_name=%(program_name)s_%(process_num)02d
numprocs=10
directory=/var/www/worker
stdout_logfile=/var/log/worker.log
autostart=true
autorestart=true
user=www-data
stopsignal=KILL](https://image.slidesharecdn.com/async-150423024246-conversion-gate02/85/Highload-PHP-Gearman-Yii2-44-320.jpg)
![Систему очередей Gearman.
Supervisor
[program:worker]
command=/usr/bin/php
/var/www/worker.php
process_name=%(program_name)s_%(proce
ss_num)02d
numprocs=10
directory=/var/www/worker
stdout_logfile=/var/log/worker.log
autostart=true
autorestart=true
user=www-data
stopsignal=KILL](https://image.slidesharecdn.com/async-150423024246-conversion-gate02/85/Highload-PHP-Gearman-Yii2-45-320.jpg)
Антон Довгоброд: Highload и очереди задач на примере PHP + Gearman + Yii2
- 1. Highload и очереди задач на примере PHP + Gearman + Yii2 Спикер: Антон Довгоброд
- 2. ● Асинхронность в веб-приложениях. ● Систему очередей Gearman. ● Пример Реализации c использование Yii2 + Gearman.
- 3. Асинхронность в веб-приложениях Идет загрузка страницы ...
- 4. Enter Task1 Task2 Task N End Асинхронность в веб-приложениях
- 5. Enter Task1 Task2 Task N End Асинхронность в веб-приложениях
- 7. Асинхронность - что это ? Асинхронность в веб-приложениях
- 8. Enter Task1 Task2 Task N End Асинхронность в веб-приложениях
- 9. Асинхронность : - Клиентская - Серверная Асинхронность в веб-приложениях
- 12. http://something.dev Some Content 1 Some Content 2 Loading... Some Content N Клиентская асинхронность
- 14. Недостатки: 1. Пользователь все так же ждет ответа 2. Зависим от пользователя и его интернет соединения 3. Растет количество проверок, растет количество JS кода, растет количество потенциально уязвимых мест 4. Растет нагрузка на клиентскую часть Клиентская асинхронность
- 16. Серверная асинхронность http://something.dev Some Content 1 Some Content 2 Content will be loaded later, you are free :-) Some Content N
- 17. Серверная асинхронность Отложенное выполнение ● Отправка почты ● Обработка изображений и прочих медиа ● Статистика ● Связь с API (синхронизация данных)
- 18. Серверная асинхронность PHP и варианты ● fastcgi_finish_request()
- 19. Серверная асинхронность PHP и варианты ● fastcgi_finish_request() ● exec("/usr/bin/php /var/www/script.php > /dev/null &");
- 20. Серверная асинхронность PHP и варианты ● fastcgi_finish_request() ● exec("/usr/bin/php /var/www/script.php > /dev/null &"); ● PCNTL (выполнение кода в отдельном процессе)
- 21. Серверная асинхронность PHP и варианты ● fastcgi_finish_request() ● exec("/usr/bin/php /var/www/script.php > /dev/null &"); ● PCNTL (выполнение кода в отдельном процессе) ● Использование Очередей
- 23. Система очередей Gearman. Системы очередей: Celery (http://www.celeryproject.org/) RabbitMQ (http://www.rabbitmq.com/) Zend Server Job Queue (http://www.zend.com/) ZeroMQ (http://www.zeromq.org/) BeanstalkdPeafowl, StarlingApache ActiveMQand.
- 24. Система очередей Gearman. Почему Gearman ?
- 25. Система очередей Gearman. возможности gearman: ● Open Source ● Simple & Fast (rewritten in C) ● Support a variety of languages : build Worker in Python, Client in PHP ● Flexible ● Load Balance ● Failover
- 26. Система очередей Gearman. PHP Client1 Job Server 1 Worker 1 Connect, submit a job Send command to wakу worker Up Ask For Jobs
- 27. Система очередей Gearman. PHP Client1 Job Server 1 Job Server 2 PHP Client2 PHP Client3 PHP Client4 PHP Client5 Worker 1 Worker 2 Worker 3
- 28. Система очередей Gearman. Простой пример:
- 30. Система очередей Gearman.Система очередей Gearman. php worker.php
- 32. Система очередей Gearman. php client.php
- 34. Система очередей Gearman. Можно и не асинхронно: $gmclient->do("reverse", "this is a test");
- 35. Система очередей Gearman. Приоритеты: $client->doHighBackground ("reverse", "this is a test"); $client->doLowBackground ("reverse", "this is a test");
- 36. Система очередей Gearman. Установка Gearman: 1. Gearman Server apt-get install gearman-job-server Но лучше перестраховаться :
- 37. Система очередей Gearman. Установка Gearman: 1. Gearman Client
- 38. Система очередей Gearman. Установка Gearman, путь Джедая:
- 39. Система очередей Gearman. Мониторинг состояния: 1. Проверяем что сервер и php ext работают:
- 40. Система очередей Gearman. Мониторинг состояния: 1. Проверяем что сервер и php ext работают 1. Мониторинг состояния gearadmin --status ● Function Name ● Number in queue ● Number of jobs running
- 41. Систему очередей Gearman. Мониторинг состояния в UI: 1. Gearman Monitor https://github.com/yugene/Gearman-Monitor
- 42. Систему очередей Gearman. Мониторинг состояния в UI: 1. Gearman UI https://github.com/gaspaio/gearmanui
- 43. Систему очередей Gearman. Потенциальные узкие места: 1. Неожиданное завершение работы задачи 2. Неожиданное завершение работы Worker процесса 3. Выход из строя Job Server 4. при изменении кода Worker-а сам Worker не будет изменен
- 44. Систему очередей Gearman. Потенциальные узкие места: 1. Неожиданное завершение работы задачи - Проверка всех уровней эксепшнов - Код Задач должен быть хорошо оттестирован - Хранение статуса операций, необходимых задачам в отдельном месте 1. Неожиданное завершение работы Worker процесса - Использование утилиты, управляющей процессами (хороший пример Supervisor) [program:worker] command=/usr/bin/php /var/www/worker.php process_name=%(program_name)s_%(process_num)02d numprocs=10 directory=/var/www/worker stdout_logfile=/var/log/worker.log autostart=true autorestart=true user=www-data stopsignal=KILL
- 46. Систему очередей Gearman. Потенциальные узкие места: 1. Неожиданное завершение работы задачи - Проверка всех уровней эксепшнов - Код Задач должен быть хорошо оттестирован - Хранение статуса операций, необходимых задачам в отдельном месте 1. Неожиданное завершение работы Worker процесса - Использование утилиты, управляющей процессами (хороший пример Supervisor) 1. Выход из строя Job Server Мониторинг Job Server Выбирать хранилище очередей не по умолчанию (mysql, sqllight, memcached, etc.) 1. при изменении кода воркера сам воркер не будет изменен Использование скриптов автодеплоя в случае обновления кода воркера
- 47. Систему очередей Gearman. Как не должно быть:
- 48. Пример Реализации c использование Yii2 + Gearman. Пример Реализации c использование Yii2 + Gearman.
- 49. Пример Реализации c использование Yii2 + Gearman. Архитектура Задач, архитектура на первом месте!
- 50. Пример Реализации c использование Yii2 + Gearman. Необходимые шаги: 1. Composer Yii2 extention 2. Add rows in config 3. write your worker 4. That’s it :-)
- 51. Пример Реализации c использование Yii2 + Gearman. Устанавливаем дополнения: 1. Filsh https://github.com/Filsh/yii2-gearman Single worker , used : https://github.com/sinergi/gearman 2. OR, Shakura https://github.com/shakura/yii2-gearman (Multiple workers)
- 52. Пример Реализации c использование Yii2 + Gearman. Config:
- 53. Пример Реализации c использование Yii2 + Gearman. Job:
- 54. Пример Реализации c использование Yii2 + Gearman. Client:
- 55. Ссылки: 1. http://ruhighload.com/ 2. http://supervisord.org/ 3. http://gearman.org/ 4. http://php.net/manual/en/book.gearman.php 5. https://gist.github.com/resscode/f118ca2f0233aebce3e5 6. https://github.com/gaspaio/gearmanui 7. https://github.com/Filsh/yii2-gearman 8. https://github.com/shakura/yii2-gearman 9. https://github.com/sinergi/gearman
- 56. Вопросы ?)
- 57. Всем Спасибо :-) Вопросы и предложения можно оставлять: anton.dovgobrod@dataart.com