Microservieces and their communication (RabbitMQ/SIDEKIQ)

MICROSERVICES
AND THEIR COMMUNICATION
(RABBITMQ / SIDEKIQ)
Kraków, październik 2016
Radek Rochmalski, KRUG

Dlaczego warto?
Sprawne wytwarzanie
i rozwój oprogramowania.

Dlaczego warto?
Niezależność
od innych usług

Dlaczego warto?
Dobór technologii
do problemu

Dlaczego warto?
Utrzymywanie
i skalowalność

Co może być wyzwaniem?
Testowanie
systemu usług

Dekompozycja
systemu monolitycznego

Zarządzanie
i monitorowanie

Klient HTTP - EXCON
gemfile
gem 'excon'
simple_client.rb
connection = Excon.new('https://example.com') 
get_response = connection.get(path: '/resources') 
post_response = connection.post(path: '/resources') 
delete_response = connection.delete(path: '/resource/1')
api_client.rb
connection = Excon.new('https://example.com/api/v1/resources', headers: {'Content-Type' =>
'application/json', 'X-Api-Key' => 'secret'})
connection.request(method: :get, query: { page: 1, per_page: 10 })
connection.request(method: :post, body: object.attributes.to_json) 
Excon.new('https://example.com', retry_limit: 5, idempotent: true)

Klient HTTP - FARADAY
gem 'faraday'
connection = Faraday.new('https://example.com') 
get_response = connection.get('/resources') 
post_response = connection.post('/resources') 
delete_response = connection.delete('/resource/1')
connection = Faraday.new('https://example.com/api/v1', headers: {'Content-Type' =>
'application/json', 'X-Api-Key' => 'secret'})
connection.get '/resources', { page: 1, per_page: 10 } 
connection.post '/resources', object.attributes.to_json 
connection.get '/resources', options: { timeout: 5, open_timeout: 2 }
gemfile
simple_client.rb
api_client.rb

Klient HTTP - REST-CLIENT
gem 'rest-client'
get_response = RestClient.get('https://example.com/resources') 
post_response = RestClient.post('https://example.com/resources', {}) 
delete_response = RestClient.delete('https://example.com/resource/1')
RestClient.get('http://example.com/api/v1/resources', {content_type: :json, accept: :json,
'X-Api-Key' => 'secret', params: { page: 1, per_page: 10 })
RestClient.post('https://example.com/api/v1/resources', {content_type: :json, accept: :json,
'X-Api-Key' => 'secret'}, object.attributes.to_json)
gemfile
simple_client.rb
api_client.rb

Kolejkowanie i obsługa zdarzeń
SIDEKIQ

Kolejkowanie i obsługa zdarzeń SIDEKIQ
Prosty w integracji
priorytety, ponawiane zadań, kontrola współbieżności
Wydajny, wielowątkowy
4 500 requests per second (req/s)
Oparty na Redis'ie

Kolejkowanie i obsługa zdarzeń SIDEKIQ
gem 'sidekiq'
class MyWorker 
include Sidekiq::Worker sidekiq_options queue: 'critical'
def perform(url, json_data)
connection = Excon.new(url, headers:
{'Content-Type' => 'application/json', 'X-Api-Key' => 'secret'})
connection.request(method: :post, body: json_data)
end end
MyWorker.perform_async(’http://…’, { name: ’Jhon’ }.to_json)
MyWorker.perform_in(3.minutes, ’http://…’, { name: ’Jhon’ }.to_json)
gemfile
my_worker.rb
usage

Kolejkowanie i obsługa zdarzeń
RABBITMQ

Kolejkowanie i obsługa zdarzeń RABBITMQ
Bardzo wydajny
44 824 req/s (max. wysyłka 149 910 req/s, max. odbiór 64 315 req/s
Obsługuje różne platromy programistyczne
Ruby, Java, Python, Node.js, C / C++, Erlang, Go
Dostępny dla większości systemów
MacOS X | Debian / Ubuntu | Amazon EC2 | Cloud Foundry | Windows

Kolejkowanie i obsługa zdarzeń RABBITMQ

Kolejkowanie i obsługa zdarzeń RABBITMQ - podstawowe pojęcia
Connection - połączenie TCP z brokerem wiadomości
Channel - wirtualne połączenie wewnątrz TCP
Message - wiadomość o dowolnej formie i treści
Queue - kolejka do której wysyłane są wiadomości
Exchange - przyjmuje wysłane wiadomości i rozsyła je do
kolejek
Exchange: Direct, Fanout, Topic, Headers

Kolejkowanie i obsługa zdarzeń BUNNY
Funkcjonalny
Oferuje wszystko co posiada RabbitMQ
Wygodny
Sam odzyskuje połączenia i wiadomości po awarii
Zaawansowany
Dowolność w sposobie konfiguracji

gem 'bunny'
producer.rb
require 'bunny' connection = Bunny.new
connection.start
channel = connection.create_channel 
queue = channel.queue('app.events.user.created.development') exchange =
channel.default_exchange
exchange.publish({ url: 'https://example.com/api/v1/users', 
data: { name: 'John', age: 21 } }.to_json, routing_key: queue.name)
connection.close
usage
ruby producer.rb
gemfile

require 'bunny'
connection = Bunny.new
connection.start 
channel = connection.create_channel
queue = channel.queue('app.events.user.created.development')
loop do 
queue.subscribe do |delivery_info, metadata, payload|
# Excon...
end end
connection.close
usage
ruby consumer.rb
producer.rb

Kolejkowanie i obsługa zdarzeń SNEAKERS
Bardzo wydajny
Ogranicznony jedynie prędkością brokera (min. 1000 req/s)
Prosty w integracji
Mocno wzorowany na Sidekiq
Zaawansowana semantyka wiadomości
Reject, requeue, acknowledge

Kolejkowanie i obsługa zdarzeń SNEAKERS
gem 'sneakers'
my_consumer.rb
class Consumer 
include Sneakers::Worker 
from_queue 'app.events.user.created.development',
prefetch: 25, threads: 20, timeout_job_after: 15
def process(message)
# Excon... 
ack!
end end
usage
sneakers work Consumer --require consumer.rb
require 'sneakers/tasks' 
$ WORKERS=Consumer rake sneakers:run
gemfile

Kolejkowanie i obsługa zdarzeń HUTCH
Prosty w integracji
connect, publish, consume
Specyficzny
Wysyłka wiadomości tylko Topic
Oparty na Bunny
lub March Hare (JRuby)

gem 'hutch'
producer.rb
require 'hutch'
Hutch.connect
Hutch.publish('app.events.user.created.development', 
url: 'https://example.com/api/v1/users', 
data: { name: 'Jhon', age: 21, email: 'jhon@mail.com' }.to_json)
usage
hutch --require hutch/producer.rb
hutch --require consumer.rb --pidfile path_to_hutch_pid --daemonise
gemfile

require 'hutch'
class Consumer 
include Hutch::Consumer 
consume 'app.events.user.*.development'
def process(message) 
url, data = message.url, message.user_data
connection = Excon.new(url, headers: 
{'Content-Type' => 'application/json', 'X-Api-Key' => 'secret'})
connection.request(method: :post, body: data) end
end
usage
hutch --require hutch/consumer.rb
consumer.rb

Aplikacje zewnętrzne na przykładzie
mikro-frameworka Roda

Aplikacje zewnętrzne na przykładzie mikro-frameworka RODA
Szybka i prosta
Core aplikacji to drzewo routing'u
Niezawodna i wydajna
Inteligentny cache struktur danych
Elastyczna
Wiele wtyczek oraz dodatków

require 'roda'
class App < Roda
plugin :render
route do |r|
r.root { view :index } # GET / request
r.on 'resources' do # /resources branch
r.is do
# GET /resources request
r.get { view :resources }
# POST /resources request
r.post { Creator.perform(r.params); r.redirect }
end
end
end
app.rb

require 'roda'
class App < Roda
plugin :render
plugin :rest_api
route do |r|
r.root { view :index }
r.api
r.version 1 do
unless r.env['HTTP_X_API_KEY']) == 'secret'
r.redirect('Unauthorized', 401)
end
# ....
end
end
app.rb

require 'roda'
class App < Roda
plugin :render
plugin :rest_api
route do |r|
r.api
r.version 1 do
r.resource :resources do |resources|
resources.save { ResourceCreator.perform(r.params) }
resources.list { |params| ResourceCollector.perform(params) }
resources.routes :index, :create
resources.permit r.params
end
end
end
end
app.rb

require 'roda'
class App < Roda
plugin :path
plugin :assets
plugin :render, views: 'app/views', engine: 'erb'
plugin :error_handler
plugin :json_parser
plugin :json
plugin :basic_auth
route do |r|
r.root { view :index }
end
end
app.rb

Dane kontaktowe
Radosław Rochmalski
Ruby Developer
e-mail: radoslaw.rochmalski@infakt.pl

Microservieces and their communication (RabbitMQ/SIDEKIQ)

More Related Content

Viewers also liked (20)

Similar to Microservieces and their communication (RabbitMQ/SIDEKIQ) (20)

More from infakt (20)

Microservieces and their communication (RabbitMQ/SIDEKIQ)