Celery vs rq
Points communs


• 2 gestionnaires de files d’attente

• En python
Celery en quelques mots

• Au départ une application django

• Devenu depuis un projet autonome

• Mais il peut toujours fonctionner de concert
  avec django
Celery en quelques mots
• Distribué :
  – un broker va recevoir les demandes de traitement

  – des workers vont pouvoir les traiter

  – les workers ne sont pas forcément sur le même
    servery
Celery en quelques mots

• Projet déjà ancien, mais qui évolue beaucoup
  – La politique de stabilité est très claire et la
    déprécation d’une fonction intervient longtemps
    avant sa suppression

• Très (trop ?) riche
rq en quelques mots

• Une alternative light à Celery
  – Pas besoin de différents types de tâches

  – Pas besoin de différents backends pour le broker
     rq = Redis Queue

  – Pas besoin de webhooks
Utilisation de Celery

• Doc complète et prise en main assez facile
  – Malgré tout, il est souvent difficile de trouver
    certaines infos

  – On fait donc parfois des mauvais choix parfois
    pénalisants pour la suite
Utilisation de Celery



• Tuning du daemon prend du temps
Utilisation de Celery



• Pas de priorisation des tâches
Utilisation de Celery

• Monitoring : indispensable en asynchrone
  – dj-celery si vous utilisez celery avec django
     • 2 autres daemons à activer

     • activation des évènements au niveau des daemons
      surveillés

  – Si le broker est RabbitMQ: plugin d’admin
Utilisation de rq


• Doc minimaliste (mais il y a beaucoup moins à
  dire)

• Pas de status du résultat
Utilisation de rq


• Pas distribué (pas de channel, ni d’exchange ni
  de router)

• Plusieurs workers mais une tâche à la fois
Utilisation de rq

• Python only : pas de webhooks

• Il existe une interface d'administration, mais
  pour Flask.

• Ne fonctionne que sous Unix.
Questions
Personnal branling


• @nautilebleu

• @greenbureaufr

Contenu connexe

PPTX
A la queue leu leu
PPT
Big Data Paris 2015 - Cassandra chez Chronopost
PPTX
Realtime Web avec Kafka, Spark et Mesos
PDF
Optimisation de la plateforme de Supervision Zabbix
PPTX
WebSocket avec Java EE 7
PDF
Paris Scala User Group #43 - Spray (Magnet Pattern) + RxScala / ElasticSearch
PDF
Introduction à Cassandra
PDF
Présentation de Apache Zookeeper
A la queue leu leu
Big Data Paris 2015 - Cassandra chez Chronopost
Realtime Web avec Kafka, Spark et Mesos
Optimisation de la plateforme de Supervision Zabbix
WebSocket avec Java EE 7
Paris Scala User Group #43 - Spray (Magnet Pattern) + RxScala / ElasticSearch
Introduction à Cassandra
Présentation de Apache Zookeeper

Tendances (8)

PPTX
Mongo db applicationmonitor
PDF
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
PPTX
Xebicon architectures microservices azure v1.0
PPTX
Postman - Dev/var 15
PDF
Apache Cassandra - Concepts et fonctionnalités
PDF
Apache Kafka, Un système distribué de messagerie hautement performant
PPTX
A bas Cron ! Vive Oozie !
PDF
Paris Kafka Meetup - Concepts & Architecture
Mongo db applicationmonitor
XebiCon'17 : Rex Akka dans une architecture microservice - Joachim Rousseau
Xebicon architectures microservices azure v1.0
Postman - Dev/var 15
Apache Cassandra - Concepts et fonctionnalités
Apache Kafka, Un système distribué de messagerie hautement performant
A bas Cron ! Vive Oozie !
Paris Kafka Meetup - Concepts & Architecture
Publicité

En vedette (20)

PPT
Resumen Tema
PPS
El Amor
PDF
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
PPS
PDF
MrsBIllustrations
PPS
Amitie3
PPT
04 Comenius Holanda
PPT
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
PPTX
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
PPS
La Miseria Humana
PPTX
Menu Principal IDE0317021
PPTX
Portfolio
DOC
Taller Cuenta1
PPT
Empresas Piratas.Ppt
PPT
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
PPTX
Compu training pp
PPT
Enseignement à travers les âges
PPTX
Conceptos de TIC
DOC
Amenaza de ab home
ODP
Escribecreativo
Resumen Tema
El Amor
Khaled B E N D R I S S Www Journaldunet Com Developpeur Tefdyntc
MrsBIllustrations
Amitie3
04 Comenius Holanda
Tendencias De Las Plataformas De Hardware Y TecnologíAs Emergentes
Nicolas Hazard - Extrait Livre Blanc 80 #PortraitDeStartuper - Dessiner le futur
La Miseria Humana
Menu Principal IDE0317021
Portfolio
Taller Cuenta1
Empresas Piratas.Ppt
La veille de Ne Kid du 13.05.09 : la Télévision Mobile Personnelle
Compu training pp
Enseignement à travers les âges
Conceptos de TIC
Amenaza de ab home
Escribecreativo
Publicité

Meetup django-2012-06-14

  • 2. Points communs • 2 gestionnaires de files d’attente • En python
  • 3. Celery en quelques mots • Au départ une application django • Devenu depuis un projet autonome • Mais il peut toujours fonctionner de concert avec django
  • 4. Celery en quelques mots • Distribué : – un broker va recevoir les demandes de traitement – des workers vont pouvoir les traiter – les workers ne sont pas forcément sur le même servery
  • 5. Celery en quelques mots • Projet déjà ancien, mais qui évolue beaucoup – La politique de stabilité est très claire et la déprécation d’une fonction intervient longtemps avant sa suppression • Très (trop ?) riche
  • 6. rq en quelques mots • Une alternative light à Celery – Pas besoin de différents types de tâches – Pas besoin de différents backends pour le broker  rq = Redis Queue – Pas besoin de webhooks
  • 7. Utilisation de Celery • Doc complète et prise en main assez facile – Malgré tout, il est souvent difficile de trouver certaines infos – On fait donc parfois des mauvais choix parfois pénalisants pour la suite
  • 8. Utilisation de Celery • Tuning du daemon prend du temps
  • 9. Utilisation de Celery • Pas de priorisation des tâches
  • 10. Utilisation de Celery • Monitoring : indispensable en asynchrone – dj-celery si vous utilisez celery avec django • 2 autres daemons à activer • activation des évènements au niveau des daemons surveillés – Si le broker est RabbitMQ: plugin d’admin
  • 11. Utilisation de rq • Doc minimaliste (mais il y a beaucoup moins à dire) • Pas de status du résultat
  • 12. Utilisation de rq • Pas distribué (pas de channel, ni d’exchange ni de router) • Plusieurs workers mais une tâche à la fois
  • 13. Utilisation de rq • Python only : pas de webhooks • Il existe une interface d'administration, mais pour Flask. • Ne fonctionne que sous Unix.