Продвинутое использование Celery — Александр Кошелев
3 likes2,075 views
Доклад Александра Кошелева на Python Party в Киеве посвящен продвинутому использованию Celery, включая его интеграцию с MongoDB и Redis, управление задачами и мониторинг. Обсуждаются разные способы настройки задач в приложениях, блокировки ресурсов и механизмы логирования ошибок. Также рассматриваются альтернативные брокеры и инструменты для мониторинга состояния воркеров, такие как Celery Inspect и Flower.
Продвинутое использование Celery — Александр Кошелев
- 1. Продвинутое использование Celery Александр Кошелев, Яндекс 29 Python Party, Киев, 4 октября 2014
- 2. Содержание Общее описание – что такое Celery Использование MongoDB и Redis в качестве брокера Несколько приложений Celery в одном проекте Эксклюзивный доступ к ресурсам Логирование ошибок Мониторинг Celery
- 3. Что такое Celery Для пользователя "Distributed task queue" Асинхронные задачи Задачи по расписанию
- 4. Что такое Celery Для пользователя Задачи ставятся в очереди клиентами Очереди хранит брокер Очереди разбираются воркерами Задачи возвращают результаты Воркеры создают события
- 5. Что такое Celery Для разработчика Kombu + абстракция над "задачей" Kombu "Messaging library" Несколько транспортов для сообщений AMQP или "virtual AMQP"
- 6. Что такое Celery Для админа Воркеры (1..N) Мастер-процесс (1) Процессы выполняющие задачи (1..N) Воркер слушает очереди (1..N) у брокера Особый воркер - celery beat Имеет расписание Ставит задачи в очереди Сохраняет своё состояние Брокер - транспорт между клиентом и воркерами
- 7. Альтернативные брокеры Нет дополнительной сущности Лучше подходят под задачу
- 8. Альтернативные брокеры Virtual AMQP Эмуляция AMQP Есть не все возможности Больше кода, который может сломаться Потенциально меньшая эффективность
- 9. Альтернативные брокеры Redis Работает через virtual AMQP Быстрый Встроенный LRU механизм
- 10. Альтернативные брокеры MongoDB Работает через virtual AMQP Failover через Replica Set Экспериментальный статус Не работают события
- 11. Несколько приложений Что такое "приложение" Набор настроек Зарегистрированные задачи Всегда есть хотя бы одно
- 12. Несколько приложений Разные брокеры Разный профиль нагрузки Разный тип задач
- 13. Несколько приложений Использование from celery import Celery app_global = Celery() app_global.conf.update(BROKER_URL='mongodb://') app_local = Celery() app_local.conf.update(BROKER_URL='redis://') app_global.set_current() task_a.apply_async() app_local.set_current() task_b.apply_async()
- 14. Блокировки ресурсов Ограниченная пропускная способность Эксклюзивный доступ Запуск одной задачи за раз
- 15. Блокировки ресурсов Интеграция Декоратор @task @locked('lock-name') def my_task(): ... Базовый класс class MyTask(LockedTask): def locked_run(self): ... Внутри beat шедулера
- 16. Блокировки ресурсов Инструмент ZooKeeper (kazoo) etcd ... MongoDB
- 17. Блокировки ресурсов Semaphore Нужно ограничить нагрузку на компонент У компонента есть емкость - кол-во тикетов Если тикеты кончились - обратно в очередь
- 18. Блокировки ресурсов Semaphore zk = KazooClient() def locked(name, capacity): def _decorator(func): def _wrapper(self, *args, **kwargs): semaphore = zk.Semaphore('/path', name, capacity) if semaphore.acquire(blocking=False): try: return func(self, *args, **kwargs) finally: semaphore.release() else: raise self.retry(coundown=5) return _wrapper return _decorator
- 19. Блокировки ресурсов Semaphore @task(bind=True) @locked('save-to-storage-task', 10) def save_to_storage(self, data): storage.save(data)
- 20. Блокировки ресурсов Mutex Эксклюзивный доступ Если лок у кого-то другого - обратно в очередь
- 21. Блокировки ресурсов Mutex from celery import Task class LockedTask(Task): lock_name = None retry_on_lock = True def run(self, *args, **kwargs): lock = zk.Lock('/path', self.lock_name) if lock.acquired(blocking=False): try: return self.locked_run(*args, **kwargs) finally: lock.release() elif self.retry_on_lock: raise self.rerty(countdown=5) def locked_run(self): raise NotImplementedError
- 22. Блокировки ресурсов Mutex class ImportDataTask(LockedTask): name = 'import-data' retry_on_lock = False def locked_run(self, url): response = requests.get(url) ...
- 23. Логирование ошибок Варианты Воркер пишет ошибки в консоль или файл Настройка логинга в обработчике сигнала Настройка логинга в проекте
- 24. Логирование ошибок Настройка import logging from celery.signals import setup_logging @setup_logging.connect def setup_worker_logging(loglevel, logfile, format, colorize): root = logging.getLogger() root.setLevel(loglevel) root.addHandler(logging.handlers.SysLogHandler())
- 26. Мониторинг Получение текущего состояния воркера celery inspect ping celery inspect active celery inspect stats Подписка на события воркера celery events celery flower
- 27. Мониторинг celery inspect user@host:~$ celery inspect ping -> default@host01: OK pong -> management@host01: OK pong -> swarm@host02: OK pong -> swarm_check@host02: OK pong -> swarm_push@host03: OK pong -> swarm_store@host03: OK pong -> swarm_walk@host04: OK pong
- 29. Мониторинг Что выбрать celery inspect - текущий мониторинг celery flower - глубокая отладка и медитация