Multitenancy
1 gostou1,008 visualizações
O documento discute abordagens de multitenancy em Rails, incluindo usar uma única instância e banco de dados, usar várias instâncias e bancos de dados separados, e como os autores implementaram multitenancy em um e-commerce usando Rails. Eles desenvolveram um middleware Rack que mapeia domínios para tenants e troca configurações como banco de dados ao processar requisições, permitindo escalar horizontalmente. Testes mostraram que a abordagem permite 300 requisições por segundo com consumo estável de memória.
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-95-320.jpg)
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-96-320.jpg)
![RACK MIDDLEWARE
module MultiTenant
class TenantAddressMap
...
def get_tenant(options = {})
tenant_hash = @manager.get_tenant(options[:address])
tenant_hash ? Tenant.new(tenant_hash) : nil
end
...
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-97-320.jpg)
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-98-320.jpg)
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-99-320.jpg)
![RACK MIDDLEWARE
module MultiTenant
class DatabaseSwitcher
...
def switch!(tenant)
if ActiveRecord::Base.connection.current_database !=
tenant.config['database']
ActiveRecord::Base.establish_connection(tenant.config)
end
end
...
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-102-320.jpg)
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-103-320.jpg)
![RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-104-320.jpg)
![TESTES DE DESEMPENHO
$ request-log-analyzer all-production.log
TaxonsController#show.html [GET] 71297 hits 25.9%
ProductsController#index.html [GET] 68717 hits 25.0%
ProductsController#show.html [GET] 64132 hits 23.3%](https://image.slidesharecdn.com/multitenancy-111103194150-phpapp01/85/Multitenancy-111-320.jpg)
Multitenancy
- 1. MULTITENANCY EM RAILS cortando custos e aumentando capacidade
- 2. RICARDO BERNARDELLI @rbernardelli http://github.com/bernardelli http://rbernardelli.com
- 3. FERNANDO HAMASAKI @prodis http://github.com/prodis http://prodis.blog.br
- 4. MULTITENANCY EM RAILS cortando custos e aumentando capacidade
- 5. MULTITENANCY EM RAILS cortando custos e aumentando capacidade
- 6. O QUE É MULTITENANCY?
- 7. COM O QUE SE PREOCUPAR?
- 8. COM O QUE SE PREOCUPAR? separação de dados
- 9. COM O QUE SE PREOCUPAR? separação de dados customização
- 10. COM O QUE SE PREOCUPAR? separação de dados customização escalabilidade
- 11. ABORDAGENS
- 12. ABORDAGENS uma instância e uma base de dados
- 13. ABORDAGENS uma instância e uma base de dados • facilidade para novo tenant
- 14. ABORDAGENS uma instância e uma base de dados • facilidade para novo tenant • deploy simples
- 15. ABORDAGENS uma instância e uma base de dados • facilidade para novo tenant • deploy simples • arquivos centralizados
- 16. ABORDAGENS uma instância e uma base de dados • facilidade para novo tenant • deploy simples • arquivos centralizados • fácil gerenciamento dos dados compartilhados
- 17. ABORDAGENS uma instância e uma base de dados • facilidade para novo tenant • deploy simples • arquivos centralizados • fácil gerenciamento dos dados compartilhados • interferências na performance
- 18. ABORDAGENS
- 19. ABORDAGENS uma instância com vários schemas
- 20. ABORDAGENS uma instância com vários schemas • facilidade de customização
- 21. ABORDAGENS uma instância com vários schemas • facilidade de customização • gerenciamento das migrations
- 22. ABORDAGENS uma instância com vários schemas • facilidade de customização • gerenciamento das migrations • dificuldade no gerenciamento dos schemas
- 23. ABORDAGENS uma instância com vários schemas • facilidade de customização • gerenciamento das migrations • dificuldade no gerenciamento dos schemas • postgresql, oracle
- 24. ABORDAGENS
- 25. ABORDAGENS uma instância com bases separadas
- 26. ABORDAGENS uma instância com bases separadas • separação total de dados
- 27. ABORDAGENS uma instância com bases separadas • separação total de dados • dificuldades no gerenciamento das bases
- 28. ABORDAGENS
- 29. ABORDAGENS várias instâncias com várias bases
- 30. ABORDAGENS várias instâncias com várias bases • separação total de dados
- 31. ABORDAGENS várias instâncias com várias bases • separação total de dados • escalabilidade de um único tenant
- 32. ABORDAGENS várias instâncias com várias bases • separação total de dados • escalabilidade de um único tenant • dificuldade no gerenciamento das bases
- 33. ABORDAGENS várias instâncias com várias bases • separação total de dados • escalabilidade de um único tenant • dificuldade no gerenciamento das bases • dificuldade de deploys
- 34. ABORDAGENS várias instâncias com várias bases • separação total de dados • escalabilidade de um único tenant • dificuldade no gerenciamento das bases • dificuldade de deploys • alto custo de infra
- 35. ABORDAGENS várias instâncias com várias bases • separação total de dados • escalabilidade de um único tenant • dificuldade no gerenciamento das bases • dificuldade de deploys • alto custo de infra (multi-instância)
- 37. EXEMPLOS PARA RAILS • multitenant (https://github.com/wireframe/multitenant)
- 38. EXEMPLOS PARA RAILS • multitenant (https://github.com/wireframe/multitenant) • acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)
- 39. EXEMPLOS PARA RAILS • multitenant (https://github.com/wireframe/multitenant) • acts_as_tenant (https://github.com/ErwinM/acts_as_tenant) • devise + inherited_resources
- 40. EXEMPLOS PARA RAILS • multitenant (https://github.com/wireframe/multitenant) • acts_as_tenant (https://github.com/ErwinM/acts_as_tenant) • devise + inherited_resources • ...
- 41. MULTITENANCY EM RAILS cortando custos e aumentando capacidade
- 42. MULTITENANCY EM RAILS cortando custos e aumentando capacidade
- 43. MULTITENANCY EM RAILS cortando custos e aumentando capacidade (ou como nós fizemos)
- 45. HISTÓRICO loja pronta (antigo e-commerce Locaweb)
- 46. HISTÓRICO equipe inicial sem experiência em ruby on rails
- 47. FATORES EXTERNOS
- 48. FATORES EXTERNOS time to market
- 49. FATORES EXTERNOS time to market pressão
- 50. DECISÕES
- 52. DECISÕES aplicação do zero? utilizar solução já existente open-source?
- 55. COMO VAMOS ATENDER VÁRIOS CLIENTES ?
- 56. IDÉIAS
- 57. IDÉIAS
- 60. ?
- 61. MULTI-INSTÂNCIA
- 62. PRIMEIRO SERVIDOR 16 cpus 18 gb ram apache + passenger mysql arquivos locais
- 65. MAGIC NUMBER
- 66. MAGIC NUMBER 600
- 67. MAGIC NUMBER 600
- 68. MAGIC NUMBER 600 não aguentou 400!
- 69. O QUE FAZER AGORA?
- 74. 12
- 75. DIFICULDADES
- 76. DIFICULDADES deploy
- 77. DIFICULDADES deploy migrations
- 78. DIFICULDADES deploy migrations um tenant afetando tenants vizinhos
- 79. DIFICULDADES deploy migrations um tenant afetando tenants vizinhos tenant com muitos arquivos distribuídos
- 80. DIFICULDADES deploy migrations um tenant afetando tenants vizinhos tenant com muitos arquivos distribuídos manutenção
- 81. ALTA DISPONIBILIDADE * http://thatcrazytattooedbaldbroad.files.wordpress.com/2011/07/finger-pointing1.jpg
- 82. PRECISAMOS DE UMA NOVA ARQUITETURA
- 83. VANTAGENS A NOSSO FAVOR
- 84. VANTAGENS A NOSSO FAVOR rails usa rack
- 85. VANTAGENS A NOSSO FAVOR rails usa rack domínios centralizados
- 86. DESVANTAGENS
- 87. DESVANTAGENS bases separadas
- 88. DESVANTAGENS bases separadas tenants descentralizados
- 89. BRAINSTORM
- 90. BRAINSTORM trocar a conexão do banco
- 91. MAS, PODE ISSO ? * http://fjblogger.com/triboaser/files/2011/06/duvida.jpg
- 93. RACK MIDDLEWARE
- 95. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 96. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 97. RACK MIDDLEWARE module MultiTenant class TenantAddressMap ... def get_tenant(options = {}) tenant_hash = @manager.get_tenant(options[:address]) tenant_hash ? Tenant.new(tenant_hash) : nil end ... end end
- 98. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 99. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 100. RACK MIDDLEWARE module MultiTenant class Tenant ... def current! database_switcher.switch!(self) log_switcher.switch!(self) assets_switcher.switch!(self) end ... end end
- 101. RACK MIDDLEWARE module MultiTenant class Tenant ... def current! database_switcher.switch!(self) log_switcher.switch!(self) assets_switcher.switch!(self) end ... end end
- 102. RACK MIDDLEWARE module MultiTenant class DatabaseSwitcher ... def switch!(tenant) if ActiveRecord::Base.connection.current_database != tenant.config['database'] ActiveRecord::Base.establish_connection(tenant.config) end end ... end end
- 103. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 104. RACK MIDDLEWARE def call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 end end
- 105. ESCALA ?
- 106. TESTES DE DESEMPENHO o que utilizamos:
- 107. TESTES DE DESEMPENHO o que utilizamos: máquina idêntica de produção
- 108. TESTES DE DESEMPENHO o que utilizamos: máquina idêntica de produção jmeter para fazer a carga
- 109. TESTES DE DESEMPENHO
- 110. TESTES DE DESEMPENHO $ request-log-analyzer all-production.log
- 111. TESTES DE DESEMPENHO $ request-log-analyzer all-production.log TaxonsController#show.html [GET] 71297 hits 25.9% ProductsController#index.html [GET] 68717 hits 25.0% ProductsController#show.html [GET] 64132 hits 23.3%
- 112. RESULTADOS
- 113. RESULTADOS
- 114. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 115. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 116. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 117. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 118. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 119. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 120. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 121. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 122. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 123. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 124. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 125. RESULTADOS antes depois sem instância/tenant 2 preocupações req/s ? 300 consumo total toda estável de memória
- 126. E DEPOIS DO TESTE ?
- 127. METAS
- 128. METAS ser fácil de escalar
- 129. METAS ser fácil de escalar reduzir custos
- 130. METAS ser fácil de escalar reduzir custos alta disponibilidade
- 131. EXTRAÇÃO DE BASES
- 132. EXTRAÇÃO DE ARQUIVOS
- 133. NOVA ARQUITETURA
- 134. SERVIDOR 16 cpus 18 gb ram
- 135. SERVIDOR 16 cpus 18 gb ram baixo consumo de memória e processamento
- 138. SERVIDOR
- 139. SERVIDOR 8 cpus
- 140. SERVIDOR 8 cpus 10 gb ram
- 141. PROPAGANDA
- 142. PROPAGANDA
- 143. PROPAGANDA crescimento em 5x a quantidade de tenants
- 144. COMO ESCALAR AINDA MAIS?
- 145. BALANCEADOR DE CARGA
- 146. BALANCEADOR DE CARGA Linux Virtual Server (LVS)
- 147. NOVA ARQUITETURA
- 148. NOVA ARQUITETURA
- 149. O QUE ESTÁ POR VIR
- 150. O QUE ESTÁ POR VIR número de banco de dados crescendo
- 151. O QUE ESTÁ POR VIR número de banco de dados crescendo logs estão distribuídos
- 152. CONCLUSÕES
- 154. CONCLUSÕES tenha números concretos experimente, teste se funciona
- 155. CONCLUSÕES tenha números concretos experimente, teste se funciona tenha solução ideal para o seu problema
- 156. CONCLUSÕES tenha números concretos experimente, teste se funciona tenha solução ideal para o seu problema execute em pequenos passos
- 157. OBRIGADO !
- 158. PERGUNTAS ?
- 159. Ricardo Bernardelli Fernando Hamasaki @rbernardelli @prodis WebStore http://www.locaweb.com.br/Loja
- 160. REFERÊNCIAS http://www.tectura.com.br/topics/abordagens_de_multitenant http://msdn.microsoft.com/en-us/library/aa479086.aspx imagem fail: http://hidefgames.com.br/wp-content/uploads/2011/04/failed1.gif imagem approved: http://3.bp.blogspot.com/-fKxVGdl1KMo/TcdEdjCMuMI/ AAAAAAAABQM/FFJOzalJ7EU/s1600/approved-stamp-hi.png