![Request/reply: клиент
import zmq, sys
context = zmq.Context(1)
s = context.socket(zmq.REQ)
s.connect("tcp://localhost:5000")
s.send(sys.argv[1])
print socket.recv(),](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-18-320.jpg)
![Request/reply
$ python server.py &
[1] 79259
$ python client.py foo
FOO
$ python client.py bar
BAR](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-19-320.jpg)
![Request/reply: клиент
import zmq, sys
context = zmq.Context(1)
s = context.socket(zmq.REQ)
s.connect("tcp://localhost:5000")
s.send(sys.argv[1])
print socket.recv(),](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-21-320.jpg)
![Publish/subscribe: сервер
while True:
for city in ["Moscow", "Murmansk", "St.
Petersburg"]:
s.send(city, zmq.SNDMORE)
s.send(str(random.randint(10, 20)))
time.sleep(2)](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-30-320.jpg)
![Publish/subscribe: клиент
s.setsockopt(zmq.SUBSCRIBE, sys.argv[1])
while True:
city = socket.recv()
temp = socket.recv()
print city + ": " + temp](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-32-320.jpg)
![Publish/subscribe
$ python server.py &
[1] 79569
$ python client.py M
Moscow: 11
Murmansk: 11
Moscow: 13
Murmansk: 17](https://image.slidesharecdn.com/0mqlowlatency-101121155604-phpapp02/85/0MQ-low-latency-33-320.jpg)
Использование 0MQ для построения low latency распределёных систем, Андрей Охлопков, Алексей Ермаков
- 1. Использование ØMQ для построения распределенных систем Андрей Охлопков Алексей Ермаков
- 2. План доклада • Разработка распределенных систем • ØMQ: краткий обзор • Case study: GH ATP
- 4. Распределенные системы • Более гибкие в разработке • Проще масштабировать • Надежнее
- 8. Взаимодействие • HTTP • TCP/IP • Message-Oriented Middleware (MOM)
- 9. MOM • Асинхронное взаимодействие через прием и отправку сообщений • Очереди и маршрутизация
- 10. Распространенные MOM • Amazon SQS • MSMQ • JMS • AMQP (RabbitMQ, Apache Qpid)
- 12. ØMQ • Разработан компанией iMatix (AMQP) • LGPL • Поддерживает C/C++, C#, Java, Python, PHP, Ruby, Erlang и другие языки • “Sockets on steroids”
- 13. Отличия от других MOM • Отсутствие брокера • API, похожий на BSD sockets API • Произвольный формат сообщений • Различные модели взаимодействия
- 14. Отличия от обычных сокетов • N:M взаимодействие • bind()/connect() могут быть вызваны в любом порядке на любой стороне • Поток сообщений а не байтов • Автоматическое переподключение
- 15. Модели взаимодействия • Request/reply • Publish/subscribe • Pipeline
- 16. Request/reply
- 17. Request/reply: сервер import zmq context = zmq.Context(1) s = context.socket(zmq.REP) s.bind("tcp://*:5000") while True: request = s.recv() s.send(request.upper())
- 18. Request/reply: клиент import zmq, sys context = zmq.Context(1) s = context.socket(zmq.REQ) s.connect("tcp://localhost:5000") s.send(sys.argv[1]) print socket.recv(),
- 19. Request/reply $ python server.py & [1] 79259 $ python client.py foo FOO $ python client.py bar BAR
- 20. Request/reply: сервер import zmq context = zmq.Context(1) s = context.socket(zmq.REP) s.bind("tcp://*:5000") while True: request = s.recv() s.send(request.upper())
- 21. Request/reply: клиент import zmq, sys context = zmq.Context(1) s = context.socket(zmq.REQ) s.connect("tcp://localhost:5000") s.send(sys.argv[1]) print socket.recv(),
- 24. Queue = XREQ + XREP + device
- 25. Queue = XREQ + XREP + device import zmq, random, time context = zmq.Context(1) xrep = context.socket(zmq.XREP) xrep.bind("tcp://*:5000") xreq = context.socket(zmq.XREQ) xreq.bind("tcp://*:5001") zmq.device(zmq.QUEUE, xrep, xreq)
- 26. Несколько devices в одной сети
- 27. Модели взаимодействия • Request/reply • Publish/subscribe • Pipeline
- 29. Publish/subscribe: сервер import zmq, random, time context = zmq.Context(1) s = context.socket(zmq.PUB) s.bind("tcp://*:5000")
- 30. Publish/subscribe: сервер while True: for city in ["Moscow", "Murmansk", "St. Petersburg"]: s.send(city, zmq.SNDMORE) s.send(str(random.randint(10, 20))) time.sleep(2)
- 31. Publish/subscribe: клиент import zmq, sys context = zmq.Context(1) s = context.socket(zmq.SUB) s.connect("tcp://localhost:5000")
- 32. Publish/subscribe: клиент s.setsockopt(zmq.SUBSCRIBE, sys.argv[1]) while True: city = socket.recv() temp = socket.recv() print city + ": " + temp
- 33. Publish/subscribe $ python server.py & [1] 79569 $ python client.py M Moscow: 11 Murmansk: 11 Moscow: 13 Murmansk: 17
- 34. Модели взаимодействия • Request/reply • Publish/subscribe • Pipeline
- 35. Pipeline
- 36. Другие возможности • PAIR-сокеты • Долговременные сокеты • Транспорты: in-process, IPC, TCP, PGM • Межпоточное взаимодействие
- 37. Другие возможности • Polling • Альтернативные модели взаимодействия • Devices (queue, forwarder, streamer и собственные)
- 38. Что отсутствует • Транзакции • Гарантированная доставка сообщений • Информация о подключениях и контроль над ними
- 39. Внимание! • В inproc-сокетах connect() должен быть вызван после bind() • Сокеты привязаны к потокам • Фильтрация на стороне клиента в PUB/SUB • assert() в случае ошибок
- 40. Заключение • Легко использовать • Высокая производительность • Большой выбор моделей взаимодействия • Легко модифицировать существующую архитектуру
- 41. Case study: GH ATP
- 42. Case study: GH ATP • Автоматизированная торговля ценными бумагами • Большой объем данных (сотни тысяч котировок в секунду) • Жесткие требования к производительности
- 43. Задача: получение котировок • Разные поставщики данных с разными протоколами • Данные используются в нескольких продуктах • Нужен унифицированный API
- 44. Требования • Низкое время отклика (<1 мс) • Большие объемы данных • Поддержка нескольких языков (на данный момент — Scala и C++) • Load balancing, fault tolerance
- 45. Решение • Клиент-серверное взаимодействие на основе ØMQ • Google Protocol Buffers для сериализации сообщений
- 46. Клиент-сервер
- 47. Архитектура
- 48. Архитектура • Stateless взаимодействие • Легко балансировать нагрузку и обеспечивать устойчивость • Высокая производительность
- 49. Цифры • Тестовые сервер и клиент (Scala), TCP/IP • Около 250 000 котировок в секунду • Средняя задержка: <1 мс • CPU bound (protobuf), ØMQ может дать большую производительность
- 50. ØMQ — это • Легкая разработка высонагруженных распределенных систем • Простая модификация и добавление нового функционала • Масштабирование и скорость
- 51. • http://www.zeromq.com • http://mongrel2.org • Андрей Охлопков <oh@ghcg.com> • Алексей Ермаков <ae@ghcg.com>