Distributed Task Processing with Celery - PyZH
- 1. Distributed Task Processing with Celery Part II César Desales
- 2. Task granularity ¡ Example: download and process data from 3 different sources. ¡ Parallellism vs Communication overhead
- 3. Resource leaks ¡ Why doesn't Python release the memory when I delete a large object? http://bit.ly/1yHUUKt ¡ –maxtasksperchild ¡ CELERYD_MAX_TASKS_PER_CHILD
- 4. Pooling external resources ¡ Connect to DB every time a task is executed? ¡ Pass non serializable objects to workers?
- 5. Limits ¡ Task dependencies -> Deadlocks ¡ Stale results ¡ Throttling ¡ Retries ¡ -time-limit or CELERYD_TASK_TIME_LIMIT ¡ –soft-time-limit or CELERYD_TASK_SOFT_TIME_LIMIT
- 6. Scheduling ¡ Cron syntax ¡ Celery beat: single worker doing the scheduling
- 7. Queues ¡ celery -A proj worker -Q reporting --concurrency=3 ¡ celery -A proj worker -Q operations --concurrency=20
- 8. Autoscaling ¡ celery --app=myapp worker --autoscale=15,8 ¡ How many workers? ¡ How log is a piece of string?
- 9. Monitoring ¡ celery -A proj status ¡ celery -A proj purge ¡ celery -A proj inspect stats
- 10. Monitoring (flower) ¡ pip install flower ¡ celery flower --broker=redis://foobar/0 --port=5555 ¡ python -m webbrowser -t "http://localhost:5555/"
- 11. Results ¡ Avoid if possible ¡ CELERY_RESULT_BACKEND='redis://localhost:6379/0’ ¡ CELERY_TASK_RESULT_EXPIRES=1800 ¡ In synch and asynch mode
- 12. Thanks!