Como a Globosat utiliza Python para distribuição de conteúdo
Transferir como PPTX, PDF0 gostou225 visualizações
O documento descreve como a Globosat utiliza Python, especificamente com a biblioteca Python-RQ, para gerenciar a distribuição de conteúdo em seus 33 canais e mais de 80 mil mídias. A solução envolve o processamento de notificações em lote com até 10 edições por vez, suportando picos de 40 mil lotes por dia através de um servidor isolado com 8 workers. A implementação é integrada ao Django e permite monitorar o progresso das tarefas através de uma interface web.
Como a Globosat utiliza Python para distribuição de conteúdo
- 1. DEFINIÇÃO DE PÚBLICO-ALVO IX Encontro PythonRio Como a Globosat utiliza Python para distribuição de conteúdo Marcos Cardoso
- 2. DEFINIÇÃO DE PÚBLICO-ALVO MARCOS CARDOSO Bacharel em Ciência da Computação - UFRJ Desenvolvedor Backend @ Globosat Entusiasta de Tuning, Backend, Game Dev, VR, Mobile facebook.com/vrcmarcos github.com/vrcmarcos linkedin.com/vrcmarcos vrcmarcos@gmail.com slideshare.net/vrcmarcos IX ENCONTRO PYTHONRIO
- 3. DEFINIÇÃO DE PÚBLICO-ALVO A Globosat ● 33 canais IX ENCONTRO PYTHONRIO
- 4. DEFINIÇÃO DE PÚBLICO-ALVO A Globosat ● 33 canais ● Mais de 80 mil mídias IX ENCONTRO PYTHONRIO
- 5. DEFINIÇÃO DE PÚBLICO-ALVO A Globosat ● 33 canais ● Mais de 80 mil mídias ● Programação linear e não-linear IX ENCONTRO PYTHONRIO
- 6. DEFINIÇÃO DE PÚBLICO-ALVO A Globosat ● 33 canais ● Mais de 80 mil mídias ● Programação linear e não-linear ● Atendimento interno: VODs (Produtos Play) IX ENCONTRO PYTHONRIO
- 7. DEFINIÇÃO DE PÚBLICO-ALVO A Globosat ● 33 canais ● Mais de 80 mil mídias ● Programação linear e não-linear ● Atendimento interno: VODs (Produtos Play) ● Atendimento externo: Operadoras IX ENCONTRO PYTHONRIO
- 8. DEFINIÇÃO DE PÚBLICO-ALVO Os formulários ● O IBMS ● O Sisleo ● O CMS IX ENCONTRO PYTHONRIO
- 9. DEFINIÇÃO DE PÚBLICO-ALVO O CMS IX ENCONTRO PYTHONRIO
- 10. DEFINIÇÃO DE PÚBLICO-ALVO Cenário ● Possui um banco de dados próprio (MySQL/Percona) IX ENCONTRO PYTHONRIO
- 11. DEFINIÇÃO DE PÚBLICO-ALVO Cenário ● Possui um banco de dados próprio (MySQL/Percona) ● Precisa notificar as API’s a cada edição no cadastro de mídia ( Globosat Play, Telecine Play ) IX ENCONTRO PYTHONRIO
- 12. DEFINIÇÃO DE PÚBLICO-ALVO Cenário ● Possui um banco de dados próprio (MySQL/Percona) ● Precisa notificar as API’s a cada edição no cadastro de mídia ( Globosat Play, Telecine Play ) ● Aproximadamente 13 mil edições/dia IX ENCONTRO PYTHONRIO
- 13. DEFINIÇÃO DE PÚBLICO-ALVO Cenário ● Possui um banco de dados próprio (MySQL/Percona) ● Precisa notificar as API’s a cada edição no cadastro de mídia ( Globosat Play, Telecine Play ) ● Aproximadamente 13 mil edições/dia IX ENCONTRO PYTHONRIO
- 14. DEFINIÇÃO DE PÚBLICO-ALVO Solução ● Paralelizar o processamento IX ENCONTRO PYTHONRIO
- 15. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ ● Cria uma fila usando o Redis (Armazém de dados usado como BD/Cache/Broker) para enfileirar e consumir Jobs IX ENCONTRO PYTHONRIO
- 16. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ ● Cria uma fila usando o Redis (Armazém de dados usado como BD/Cache/Broker) para enfileirar e consumir Jobs ● Fornece um Worker para consumir os Jobs através de linha de comando IX ENCONTRO PYTHONRIO
- 17. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ ● Cria uma fila usando o Redis (Armazém de dados usado como BD/Cache/Broker) para enfileirar e consumir Jobs ● Fornece um Worker para consumir os Jobs através de linha de comando ● Fácil de implementar IX ENCONTRO PYTHONRIO
- 18. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ ● Cria uma fila usando o Redis (Armazém de dados usado como BD/Cache/Broker) para enfileirar e consumir Jobs ● Fornece um Worker para consumir os Jobs através de linha de comando ● Fácil de implementar ● Suporte à Django, Heroku, Supervisor e Sentry (Log das Exceptions) IX ENCONTRO PYTHONRIO
- 19. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ IX ENCONTRO PYTHONRIO
- 20. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ IX ENCONTRO PYTHONRIO
- 21. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ IX ENCONTRO PYTHONRIO
- 22. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ - http://python-rq.org/ IX ENCONTRO PYTHONRIO
- 23. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● As notificações são processadas em lote (Até 10 edições por lote) IX ENCONTRO PYTHONRIO
- 24. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● As notificações são processadas em lote (Até 10 edições por lote) ● Servidor isolado, rodando 8 workers para consumo das notificações IX ENCONTRO PYTHONRIO
- 25. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● As notificações são processadas em lote (Até 10 edições por lote) ● Servidor isolado, rodando 8 workers para consumo das notificações ● Desenvolvido para suportar picos de 40 mil lotes/dia IX ENCONTRO PYTHONRIO
- 26. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● Integrado ao Django IX ENCONTRO PYTHONRIO
- 27. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● Integrado ao Django ● Comando para rodar o worker via manage.py IX ENCONTRO PYTHONRIO
- 28. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● Integrado ao Django ● Comando para rodar o worker via manage.py ● Interface web para visualizar o andamento das tarefas IX ENCONTRO PYTHONRIO
- 29. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS ● Integrado ao Django ● Comando para rodar o worker via manage.py ● Interface web para visualizar o andamento das tarefas ● Usamos a biblioteca ZDaemon para “daemonizar” os workers IX ENCONTRO PYTHONRIO
- 30. DEFINIÇÃO DE PÚBLICO-ALVO PythonRQ no CMS IX ENCONTRO PYTHONRIO
- 31. DEFINIÇÃO DE PÚBLICO-ALVO Obrigado! IX ENCONTRO PYTHONRIO facebook.com/vrcmarcos github.com/vrcmarcos linkedin.com/vrcmarcos vrcmarcos@gmail.com slideshare.net/vrcmarcos
Notas do Editor
- #2: Capa com imagem. Caso não haja imagem para ilustrar a capa, apenas eliminar a imagem de referência acima.
- #3: Página abertura de capítulo sem imagem.
- #4: Página abertura de capítulo sem imagem.
- #5: Página abertura de capítulo sem imagem.
- #6: Página abertura de capítulo sem imagem.
- #7: Página abertura de capítulo sem imagem.
- #8: Página abertura de capítulo sem imagem.
- #9: Página abertura de capítulo sem imagem.
- #10: Página abertura de capítulo sem imagem.
- #11: Página abertura de capítulo sem imagem.
- #12: Página abertura de capítulo sem imagem.
- #13: Página abertura de capítulo sem imagem.
- #14: Página abertura de capítulo sem imagem.
- #15: Página abertura de capítulo sem imagem.
- #16: Página abertura de capítulo sem imagem.
- #17: Página abertura de capítulo sem imagem.
- #18: Página abertura de capítulo sem imagem.
- #19: Página abertura de capítulo sem imagem.
- #20: Página abertura de capítulo sem imagem.
- #21: Página abertura de capítulo sem imagem.
- #22: Página abertura de capítulo sem imagem.
- #23: Página abertura de capítulo sem imagem.
- #24: Página abertura de capítulo sem imagem.
- #25: Página abertura de capítulo sem imagem.
- #26: Página abertura de capítulo sem imagem.
- #27: Página abertura de capítulo sem imagem.
- #28: Página abertura de capítulo sem imagem.
- #29: Página abertura de capítulo sem imagem.
- #30: Página abertura de capítulo sem imagem.
- #31: Página abertura de capítulo sem imagem.
- #32: Página abertura de capítulo sem imagem.