Symfony, cloud computing y webs scalables - decharlas

1. Castellón - 5 y 6 de Julio 2010 – Universitat Jaume IJornadas Symfony5 y 6 de julio 2010Universitat Jaume I, Castellónhttp://decharlas.uji.es/symfonypatrocinanorganizancolaboran

2. Symfony, cloud computing y web escalablesAsier Marqués, blackslot.com5 y 6 de julio 2010Universitat Jaume I, CastellónJornadas Symfonyhttp://decharlas.uji.es/symfony

3. Proveemos y gestionamos infraestructuras basadas en servidores y soluciones cloudhttp://blackslot.comJornadas Symfony http://decharlas.uji.es/symfony

4. Proveemos y gestionamos infraestructuras basadas en servidores y soluciones cloudDesarrollamos aplicaciones webhttp://blackslot.comJornadas Symfony http://decharlas.uji.es/symfony

5. Proveemos y gestionamos infraestructuras basadas en servidores y soluciones cloudDesarrollamos aplicaciones webPor supuesto, en Symfonyhttp://blackslot.comJornadas Symfony http://decharlas.uji.es/symfony

6. Agenda0. Presentación/SpamArquitectura web: escalabilidad y rendimientoCloud computingPreguntasJornadas Symfony http://decharlas.uji.es/symfony

7. Agenda0. PresentaciónArquitectura web: escalabilidad y rendimientoCloud computingPreguntasJornadas Symfony http://decharlas.uji.es/symfony

8. Escalabilidad:Capacidad de crecimiento

9. Rendimiento

10. Alta disponibilidad

11. Gestión simplificadaJornadas Symfony http://decharlas.uji.es/symfony

12. Escalabilidad:Capacidad de crecimiento

13. Rendimiento

14. Alta disponibilidad

15. Gestión simplificadaJornadas Symfony http://decharlas.uji.es/symfony

16. ConceptosJornadas Symfony http://decharlas.uji.es/symfony

17. EscalabilidadUna aplicación web o infraestructura es escalable cuando es capaz de aumentar la capacidad de dar servicio y funcionalidad, con la menor carga administrativa y de desarrollo posible.Jornadas Symfony http://decharlas.uji.es/symfony

18. RendimientoDisponemos de buen rendimiento cuando somos capaces de soportar la mayor carga de trabajo posible con los menores recursos de hardware posibles.Jornadas Symfony http://decharlas.uji.es/symfony

19. Alta disponibilidadGozamos de Alta disponibilidad cuando seguimos dando servicio aunque nuestra infraestructura sufra problemas en algunas de sus partes críticas.Jornadas Symfony http://decharlas.uji.es/symfony

20. SymfonyImplementación nativa de MVC

21. Flexible gracias a especialización y configuración

22. Arquitectura REST

23. Potente framework para automatizar tareas mediante línea de comandosJornadas Symfony http://decharlas.uji.es/symfony

24. Escalabilidad / puntos críticosDesarrollo

25. Base de datos

26. Caché

27. División de nuestra aplicación en capas críticas

28. Gestión de la infraestructuraJornadas Symfony http://decharlas.uji.es/symfony

29. Escalabilidad / puntos críticosDesarrollo (pensando en nuestra infraestructura)

30. Base de datos

31. Caché

32. División de nuestra aplicación en capas críticas

33. Gestión de la infraestructuraJornadas Symfony http://decharlas.uji.es/symfony

34. DesarrolloDesarrolla pensando en la infraestructuraJornadas Symfony http://decharlas.uji.es/symfony

35. Symfony / DesarrolloUsa la configuraciónPermite que una persona no programador mantenga tu aplicación.Automatiza el mantenimiento mediante tareas.Jornadas Symfony http://decharlas.uji.es/symfony

36. ejemploSITUACIÓNSon las 4am y nuestro administrador de sistemas necesita añadir un nuevo nodo de memcached al poolNosotros estamos ([ durmiendo | en Tokio | bien acompañados ]+) Jornadas Symfony http://decharlas.uji.es/symfony

37. Problema: implementación actualJornadas Symfony http://decharlas.uji.es/symfony

38. Problema: implementación actualIps hardcodeadas en el códigoJornadas Symfony http://decharlas.uji.es/symfony

39. Problema: implementación actualIps hardcodeadas en el códigoJornadas Symfony http://decharlas.uji.es/symfony

40. Problema: implementación actualUsamos nuestro propio sistema de cacheJornadas Symfony http://decharlas.uji.es/symfony

41. Problema: implementación actualLas ips de los servidores están hardcodeadas en el código

42. Si un administrador añade un nuevo servidor de memcached, debe modificar el código para que nuestra aplicación lo pueda utilizar

43. No es fácilmente automatizableJornadas Symfony http://decharlas.uji.es/symfony

44. Configuración de caché propiaconfig / bsCache.ymlJornadas Symfony http://decharlas.uji.es/symfony

45. Configuración de caché propiaconfig / bsCache.ymlMás elegante y mantenibleJornadas Symfony http://decharlas.uji.es/symfony

46. Configuración de caché propiaJornadas Symfony http://decharlas.uji.es/symfony

47. Configuración de caché propiaCacheamos el archivo de configuraciónLeemos la configuración desde cacheJornadas Symfony http://decharlas.uji.es/symfony

48. Configuración de caché propiaHemos dejado más accesible la configuración a los sysadmin y otras personas no programadoras que mantengan el pool de memcached

49. Estaría bien que se pudiese automatizar el despliegue de nuevos nodos para memcached de forma fácilJornadas Symfony http://decharlas.uji.es/symfony

50. Automatizamos el añadir nuevos servers al poolJornadas Symfony http://decharlas.uji.es/symfony

51. Automatizamos el añadir nuevos servers al poolLeemos la configuración y agregamos un nuevo servidor en el caso de que sea necesarioJornadas Symfony http://decharlas.uji.es/symfony

52. ResultadoJornadas Symfony http://decharlas.uji.es/symfony

53. ResultadoCon un solo comando la aplicación usará el nuevo nodo del pool de memcachedJornadas Symfony http://decharlas.uji.es/symfony

54. MySQLJornadas Symfony http://decharlas.uji.es/symfony

55. Symfony / MySqlSuele ser la primera necesidad a la hora de escalar y el principal cuello de botella en rendimientoOpciones habituales:Arquitectura Master – Slave

56. Optimización de consultas , ¿ORM, DQL? y mysql

57. Desnormalización y No-SQL

58. Particiones o estrategias federated

59. Busquedas: SphinxJornadas Symfony http://decharlas.uji.es/symfony

60. MySql / Master - SlaveNodos master: para escribirNodos slaves: para leerObjetivos:Replicación y alta disponibilidad.

61. Delegamos las consultas read-only en los Slaves, liberando de esa carga a los servidores Master.Jornadas Symfony http://decharlas.uji.es/symfony

62. MySql / Master - SlaveJornadas Symfony http://decharlas.uji.es/symfony

69. MySql / Master - SlaveExtendemos las clases Doctrine_Query y Doctrine_RecordJornadas Symfony http://decharlas.uji.es/symfony

71. MySql / Master - SlaveSi la query es de tipo SELECT la conexión se hará a un servidor Slave, en caso contrario al masterJornadas Symfony http://decharlas.uji.es/symfony

73. MySql / Master - SlaveCuando salvemos, la consulta se hará contra el servidor masterJornadas Symfony http://decharlas.uji.es/symfony

74. MySql / OptimizarReducir el número de consultas VS desglosar una consulta compleja en varias sencillasQueryCacheSustituir Count(*) por FOUND_ROWS()Olvidarnos de DQL en consultas complejasDesnormalizar VS usar NO-SQL: Memcached, Redis, Cassandra..Jornadas Symfony http://decharlas.uji.es/symfony

75. MySql / sfPager sin CountJornadas Symfony http://decharlas.uji.es/symfony

76. MySql / sfPager sin CountAñadimos SQL_CAC_FOUND_ROWS al SELECTJornadas Symfony http://decharlas.uji.es/symfony

77. MySql / sfPager sin CountContamos las tuplas totales con FOUND_ROWSJornadas Symfony http://decharlas.uji.es/symfony

78. MySql / BúsquedasLimitaciones de MySql en búsquedasBajo rendimiento en tablas con muchas tuplas en las que es necesario buscar en campos de texto muy grandes.No distingue resultados en base a su relevancia.A menudo obliga a desnormalizar.Jornadas Symfony http://decharlas.uji.es/symfony

79. MySql / BúsquedasSphinxRanking de resultados por relevancia

80. Distribuido

81. Muy rápido, tanto indexando como a la hora de devolver los resultados

82. Indexación en calienteJornadas Symfony http://decharlas.uji.es/symfony

83. MySql / BúsquedasSphinx: proceso de búsquedaJornadas Symfony http://decharlas.uji.es/symfony

87. CacheJornadas Symfony http://decharlas.uji.es/symfony

88. Symfony / CacheViewCache(Symfony <=1.4)Caché a nivel de acción

89. Caché a nivel de componente y partialDoctrine posee caché a nivel de consultasOpciones:APC, Xcache, Memcached, SQLite, Disco…Jornadas Symfony http://decharlas.uji.es/symfony

90. Cache / APCJornadas Symfony http://decharlas.uji.es/symfony

91. Cache / APCCada servidor web almacena objetos localmente, inaccesibles desde el resto de frontalesJornadas Symfony http://decharlas.uji.es/symfony

92. Cache / APCProsOpcode para php, reduce carga de procesador

93. Nos permite almacenar información

94. Caché muy rápidaContrasLa caché es local

95. No escala horizontalmenteJornadas Symfony http://decharlas.uji.es/symfony

96. Cache / APCapc.shm_size (por defecto 30MB)Tamaño de memoria compartida utilizada para almacenar objetos.apc.stat (por defecto 1)Si se encuentra activado comprueba por cada ciclo deejecución si el código ha cambiado. Estableciéndolo 0 incrementa el rendimiento siempre que usemos rutas absolutas en los requires/includes.Jornadas Symfony http://decharlas.uji.es/symfony

97. Cache / MemcachedJornadas Symfony http://decharlas.uji.es/symfony

98. Cache / MemcachedCualquier servidor web puede gestionar la información de cacheJornadas Symfony http://decharlas.uji.es/symfony

99. Cache / MemcachedCualquier servidor web puede gestionar la información de cacheCada servidor de memcached es el responsable de una serie de objetosJornadas Symfony http://decharlas.uji.es/symfony

100. Cache / Memcached ProsUno de los sistemas más rápidos

101. Nos permite distribuir la información

102. Fácilmente escalableContrasAlmacenamiento no persistente

103. No hay replicación

104. Limitaciones:

105. keys <= 255caracteres

106. valores <= 1MBJornadas Symfony http://decharlas.uji.es/symfony

107. Cache / Memcached ProsUno de los sistemas más rápidos

108. Nos permite distribuir la información

109. Fácilmente escalableContrasAlmacenamiento no persistente

110. No hay replicación*

111. Limitaciones:

112. keys <= 255caracteres

113. valores <= 1MBJornadas Symfony http://decharlas.uji.es/symfony

114. Cache / MemcachedRepCache para MemcachedDota a memcached de replicaciónJornadas Symfony http://decharlas.uji.es/symfony

115. Cache / sfViewCacheJornadas Symfony http://decharlas.uji.es/symfony

116. Cache / sfViewCacheCache de acción, incluyendo el layoutJornadas Symfony http://decharlas.uji.es/symfony

117. Cache / sfViewCacheCache de acción, sin incluir el layoutJornadas Symfony http://decharlas.uji.es/symfony

118. Cache / sfViewCacheCache de partial y componenteJornadas Symfony http://decharlas.uji.es/symfony

119. Cache / sfViewCacheNos facilita la invalidación de cache

120. Claves basadas en REST e integradas con el sistema de routing

121. Está bien para empezar, pero en proyectos avanzados tendremos que considerar otras opciones:

122. Estrategia personalizada de cache a nivel de controlador y modelo

123. Proxy Caché a nivel de sistema

124. ESI: EdgeSideIncludes, integrado en symfony 2Jornadas Symfony http://decharlas.uji.es/symfony

125. Cache / proxyCacheIdeal para cachear estáticos almacenados en otras ubicaciones como s3

126. Más óptimo que cualquier caché gestionado en nuestra aplicación, pero menos flexible

127. La invalidación y en algunos casos la creación de la cache, debe ser gestionada desde la aplicación web o tareas automatizadas.

128. Nos permite el uso de ESI, EdgeSideIncludesJornadas Symfony http://decharlas.uji.es/symfony

129. Cache / proxyCacheJornadas Symfony http://decharlas.uji.es/symfony

130. Cache / proxyCacheJornadas Symfony http://decharlas.uji.es/symfony

131. Cache / proxyCacheEvalúa si tiene cachede la vista solicitada.Jornadas Symfony http://decharlas.uji.es/symfony

132. Cache / proxyCacheEn caso de no tener,solicita la información a losservidores web y de archivos.Jornadas Symfony http://decharlas.uji.es/symfony

133. Cache / proxyCacheAlmacena la información en caché y responde a la petición.Jornadas Symfony http://decharlas.uji.es/symfony

134. Cache / proxyCacheLa siguiente petición es servida desde cachéJornadas Symfony http://decharlas.uji.es/symfony

135. Cache / proxyCacheOpciones más usadas:Varnish: varnish-cache.org

136. Nginx: nginx.org

137. Squid: squid-cache.org Jornadas Symfony http://decharlas.uji.es/symfony

138. Cache / proxyCache / VarnishJornadas Symfony http://decharlas.uji.es/symfony

139. Cache / proxyCache / VarnishConexión al servidor webCacheamos los estáticosNo cacheamos las peticiones POSTNo cacheamos las peticiones que incluyan autenticación http o una cookie __sesionLo demás se cacheaJornadas Symfony http://decharlas.uji.es/symfony

140. Cache / proxyCache / VarnishCuando una url es gestionada por la cache de varnish, se llamará a los métodos hit, miss y fetchJornadas Symfony http://decharlas.uji.es/symfony

141. Cache / proxyCache / Varnishvcl_hitConfiguramos que si la url contiene la palabra «PURGAR_CACHE» elimine la caché. vcl_missConfiguramos que si la url contiene la palabra «PURGAR_CACHE» y no se encuentra en caché, nos aviseJornadas Symfony http://decharlas.uji.es/symfony

142. Cache / proxyCache / Varnishvcl_fetchMiss llama a este método para que cree la caché.Ahí le establecemos el tiempo de vida de la mismaJornadas Symfony http://decharlas.uji.es/symfony

143. Cache / proxyCache / ESIESI (EdgeSideIncludes) nos permiten incluir contenidos de una url en nuestras vistas.Podemos distribuir contenido de nuestro site e incluso tratar cada parte como si se tratase de una aplicación web independiente.Symfony2 incluirá soporte nativo para ESI.Jornadas Symfony http://decharlas.uji.es/symfony

144. Cache / proxyCache / ESI<esi:include src = " /esi/categorias.php" alt = " <?php echo url_for(…) ?>" onerror="continue" />Jornadas Symfony http://decharlas.uji.es/symfony

145. Cache / proxyCache / ESI<esi:includesrc = " /esi/categorias.php" alt = " <?php echo url_for(…) ?>" onerror="continue" />Las urls pueden ser relativas o absolutasJornadas Symfony http://decharlas.uji.es/symfony

146. Dividir en capasJornadas Symfony http://decharlas.uji.es/symfony

147. Dividir en capasArquitecturas más modulares y por lo tanto, más fáciles de escalar horizontalmente.Separamos los problemas en capas.Nos permite usar varias tecnologías de forma transparente, la más adecuada para cada caso.Jornadas Symfony http://decharlas.uji.es/symfony

148. Dividir en capas Almacenamiento de archivos y estáticos

149. Cache

150. Acceso a fuentes de datos

151. Mailing

152. Procesamiento de media o tareas de cálculoJornadas Symfony http://decharlas.uji.es/symfony

153. Capas / Acceso a base de datosConsejo de Yahoo!: no usar ORMsUna buena estrategia si:Usamos diferentes tecnologías de bases de datos según el tipo de información

154. Equipos de trabajo concentrados exclusivamente en esa área

155. Nuestra tecnología de base de datos no implementa interfaz PDOJornadas Symfony http://decharlas.uji.es/symfony

156. Gestión ITJornadas Symfony http://decharlas.uji.es/symfony

157. Gestión ITMonitorizaciónAlertas: Nagios

158. Gráficos: Munin, Ganglia, CactiAprovisionamientoBuena nomenclatura

159. Configuraciones bajo control de versiones

160. Automatización de aprovisionamiento (Virtualización o instalación por red)Backup¿Has probado a restaurar?

161. Configuraciones bajo control de versionesJornadas Symfony http://decharlas.uji.es/symfony

163. Cloud computingTres modelos principales: SAAS, PAAS y IAAS

164. Nos despreocupamos de los costes y gestión de la capa de hardware y de red

165. El despliegue es inmediato

166. Pago por uso

167. La escalabilidad horizontal no es un problemaJornadas Symfony http://decharlas.uji.es/symfony

168. IAAS vs PAASPAASHay que pensar de forma distinta a como pensaríamos en una infraestructura física.

169. Hay que desarrollar siendo conscientes de los requisitos y recursos de dicho entorno

170. Suele ser mucho más sencillo para un programador. Abstrae de la complejidad de la capa de sistemas.IAASNo hay que aprender nada nuevo en la capa de sistemas.

171. Nos permite migrar aplicaciones sin hacer grandes cambios

172. Tenemos límites similares o menores a los que tendríamos en una infraestructura físicaJornadas Symfony http://decharlas.uji.es/symfony

173. IAAS vs PAAS / ProveedoresPAASMicrosoft Azure

174. Google App Engine

175. Amazon S3, SDB

176. …IAASAmazon EC2

177. Softlayer

178. UbiCloud

179. Rackspace

180. …Jornadas Symfony http://decharlas.uji.es/symfony

181. AMAZON EC2, S3, SQSJornadas Symfony http://decharlas.uji.es/symfony

182. Jornadas Symfony http://decharlas.uji.es/symfony

183. Amazon / EC2Permite desplegar instancias virtuales desde AMIsen minutos

184. Permite configurar AMIsy compartirlas con la comunidad

185. Distintos tipos de instancias: desde 1.7GB de Ram hasta 64.8GB de Ram

186. Pago por tiempo de CPU, transferencia de datos e I/O

187. Disponemos de volúmenes EBS, ip fijas, snapshots, balanceo y monitorización (CloudWatch)Jornadas Symfony http://decharlas.uji.es/symfony

188. Amazon / S3Almacenamiento de objetos clave / valor. Cada archivo es un objeto.

189. Para recuperar grandes cantidades de objetos, disponemos de AWS Import/Export

190. Se paga por almacenamiento, número de peticiones y transferencia.

191. El almacenamiento es flexible e infinito, pero cada objeto tiene un límite de 5GB

192. Accesible mediante REST con url basada en subdominios o directorio:http:// [bucket_id] .dominio.com/objetohttp://s3.amazonaws3.com/ [bucket_id] /objetoJornadas Symfony http://decharlas.uji.es/symfony

193. Amazon / SQSServicio de cola de mensajes

194. Ideal para trabajos de alta carga que se puedan hacer de forma asíncrona

195. Se paga por transferencia y número de mensajes.

196. El almacenamiento es flexible e infinito.Jornadas Symfony http://decharlas.uji.es/symfony

197. Amazon / CloudfusionConjunto de clases para trabajar con los servicios web de Amazon

198. Muy bien documentada y soporta todos los servicios de Amazon

199. Es muy sencilla de utilizarJornadas Symfony http://decharlas.uji.es/symfony

200. Amazon / Cloudfusion / S3Subimos un archivo a S3Jornadas Symfony http://decharlas.uji.es/symfony

201. Amazon / Cloudfusion / S3Creamos un bucketSubimos un archivo a S3Subimos el archivo al bucket Jornadas Symfony http://decharlas.uji.es/symfony

202. Amazon / Cloudfusion / EC2Jornadas Symfony http://decharlas.uji.es/symfony

203. Amazon / Cloudfusion / EC2Arranco una instancia virtual en EC2Le asocio una dirección ip pública.Jornadas Symfony http://decharlas.uji.es/symfony

204. Amazon / CloudfusionUsando cloudfusion junto a las herramientas de configuración y tareas de Symfony, automatizamos el crecimiento y gestión de la infraestructura.

205. Podemos en todo momento aumentar nuestra capacidad de almacenamiento y proceso, de forma inmediata y flexibleJornadas Symfony http://decharlas.uji.es/symfony

206. ResumenJornadas Symfony http://decharlas.uji.es/symfony

207. ResumenDebemos empezar a pensar en la infraestructura como parte de nuestro proyecto de desarrollo

208. Además de por escalar, necesitamos preocuparnos por el rendimiento para reducir nuestros costes

209. Hoy en día existen más opciones que Apache + Mysqlen entornos Linux

210. El cloudcomputing es una opción asequible para disponer de arquitecturas pensadas para escalar desde el principio.Jornadas Symfony http://decharlas.uji.es/symfony

212. GRACIASAsier Marqués asiermarques@blackslot.com5 y 6 de julio 2010Universitat Jaume I, CastellónJornadas Symfonyhttp://decharlas.uji.es/symfony

Symfony, cloud computing y webs scalables - decharlas

Más contenido relacionado

Destacado (6)

Similar a Symfony, cloud computing y webs scalables - decharlas (20)

Último (20)

Symfony, cloud computing y webs scalables - decharlas