Cloud to the rescue? How I learned to stop worrying and love the cloud
0 likes469 views
Prezentarea lui Alexandru Badiu la Linux Open Alternative Day 2013 se concentrează pe utilizarea cloud-ului pentru dezvoltarea și gestionarea aplicației Demotix, o platformă pentru fotojurnaliști. Badiu discută despre arhitectura tehnică, avantajele scalabilității cloud-ului și importanța testării performanței. De asemenea, el subliniază diferențele între furnizorii de soluții cloud și importanța unui sistem bine monitorizat pentru a asigura continuitatea serviciilor.
Cloud to the rescue? How I learned to stop worrying and love the cloud
- 1. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Cloud to the rescue How I learned to stop worrying and love the cloud 1 Wednesday, May 29, 13
- 2. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 2 Despre mine Alexandru Badiu Lucrez cu Drupal de 10 ani, membru fondator al Drupal Romania. Senior developer la Demotix / Corbis. Twitter @voidberg Web ctrlz.ro Wednesday, May 29, 13
- 3. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 3 1 La început Wednesday, May 29, 13
- 4. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Demotix 4 ‣ Rețea pentru fotojurnaliști freelance ‣ Ca AP sau Reuters dar cu echipe locale ‣ Echipă remote ‣ Fără exclusivitate, fără cedare de copyright ‣ Împărțim profitul cu tine ‣ Alegerile din Iran, Bahrain, revoltele “Arab Spring” ‣ Parte din Corbis Wednesday, May 29, 13
- 5. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Demotix 5 Shakhoora, Bahrain Wednesday, May 29, 13
- 6. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La început 6 ‣ Pe cloud de la început ‣ Prototipul și versiunea alpha au stat în cloud ‣ Mediul de dezvoltare a rămas în cloud ‣ Ne-am mutat pentru suport mai bun ‣ Avem nevoie de suport 24/7 ‣ Site-ul avea predispoziție pentru a crăpa de sărbători ‣ Mișcarea a fost bună ‣ Disk IO mai bun ‣ Hardware dedicat Wednesday, May 29, 13
- 7. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La început 7 ‣ 1 server web ‣ Varnish ‣ Apache, mod_php ‣ 1 server BD ‣ MySQL ‣ 1 server utilitar ‣ Memcached ‣ Solr ‣ Server FTP ‣ Beanstalk Wednesday, May 29, 13
- 8. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La un moment dat 8 ‣ 1.5+ milioane de page views pe lună ‣ Foarte mult conținut ‣ Spikes cu 100k + views într-o zi ‣ 14 GB+ BD ‣ 1M+ noduri, și mai multe categorii (10M+) ‣ 3-5k noduri noi pe zi ‣ 200GB+ de imagini și video ‣ Unele directoare au mai mult de 750K de fișiere ‣ 80% trafic anonim ‣ 6k utilizatori activi Wednesday, May 29, 13
- 9. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD La un moment dat 9 ‣ Spikes ‣ Singulare ‣ Imaginile cu bombardamentele din Oslo au devenit virale ‣ Firewall-ul a cedat ‣ Per evenimente ‣ Nunta regală ‣ Alegeri ‣ Olimpiada ‣ Dev = Staging = Production ‣ Flexibilitate Wednesday, May 29, 13
- 10. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Cloud-ul pentru noi 10 ‣ Servere noi oricând ‣ Downscale / Upscale oricând ‣ Spațiu de stocare nelimitat ‣ Plătești doar ce folosești ‣ Fără contracte complicate ‣ Control total Wednesday, May 29, 13
- 11. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD Setup-ul de vis 11 ‣ 1+ Load balancer ‣ Varnish ‣ 3+ servere web ‣ Nginx, PHP-FPM ‣ 2+ servere BD ‣ MariaDB ‣ 2+ server utilitare ‣ Memcached ‣ Solr ‣ FTP Server ‣ Beanstalk Wednesday, May 29, 13
- 12. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD DIY 12 De ce să nu plătești pe alții să facă asta pentru tine? ‣ Control - SaaS este, de multe ori, o cutie neagră ‣ Complexitate - Nu ne potriveam cu soluțiile generice ‣ Dacă totuși poți să o faci, fă-o Wednesday, May 29, 13
- 13. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 13 2 Probleme Wednesday, May 29, 13
- 14. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 14 Slice (Cât de mare este partea ta?) ‣ Majoritatea furnizorilor împart serverele în bucăți egale de cpu/ ram/disk și le vând. ‣ Uneori poți adăuga alte resurse necesare, uneori nu. ‣ Asta e o problemă pentru serverele de fișiere. IO prost ‣ Discurile sunt locale sau în rețea? #1 - Slice Wednesday, May 29, 13
- 15. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 15 Legi ‣ UE are legi legate de unde poți trimite și ține datele utilizatorilor. ‣ E posibil ca firma să nu poată stoca date sensibile în cloud. Utilizatori ‣ E posibil ca cloud-ul să nu fie acolo unde sunt și utilizatorii tăi. ‣ CDN-urile pot ajuta în acest caz. #2 - Amplasare Wednesday, May 29, 13
- 16. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 16 Mai multe severe, mai multe probleme ‣ E posibil să fie nevoie de muncă suplimentară pentru ca aplicația ta să poată fi scalată în cloud. Suport tehnic ‣ Există? Cât de rapid este? ‣ La 3 dimineața? ‣ În ziua de Crăciun #3 - Suport tehnic Wednesday, May 29, 13
- 17. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 17 Trebuie să fii un sysadmin sau să devii unul Serverele cad la 3 dimineața ‣ Sisteme de monitorizare ‣ Instrucțiuni pentru cazuri de urgență ‣ Recuperare după dezastre #4 - Control total Wednesday, May 29, 13
- 18. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 18 Furnizorii de soluții cloud diferă foarte mult ‣ Slice-uri diferite ‣ Diverse metode de alocare a lățimii de bandă ‣ Diverse pachete de suport tehnic ‣ Performanță foarte diferită Supravânzare ‣ Se întâmplă des #5 - 1 != 1 Wednesday, May 29, 13
- 19. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 19 3 Alegerea Wednesday, May 29, 13
- 20. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 20 Cloudharmony.com Wednesday, May 29, 13
- 21. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 21 DB Wednesday, May 29, 13
- 22. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 22 Disk/IO Wednesday, May 29, 13
- 23. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 23 Mem/IO Wednesday, May 29, 13
- 24. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 24 CPU Wednesday, May 29, 13
- 25. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 25 Oferă tot ce ai nevoie? ‣ CDN? ‣ Spațiu de stocare suficient? ‣ Suport tehnic bun? ‣ Foarte scump? Testează ‣ Există o perioadă de testare gratuită? ‣ Testează cu o copie cât mai apropiată de situl tău. ‣ AB / Siege pentru sistemul de cache ‣ HTTPERF sau JMeter pentru replay la logurile serverului web ‣ Monitorizare cu Munin/Cacti/NewRelic Apoi? Wednesday, May 29, 13
- 26. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 26 Demotix nu e un exemplu bun pentru testare. Folosim o distribuție Drupal, eCommerce Kickstart Folosim Puppet pentru a instala sistemul Benchmark cu BlazeMeter JMeter în cloud Modul Drupal Prietenoși Monitorizare cu NewRelic (cont gratuit cu BlazeMeter) Testare Wednesday, May 29, 13
- 27. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 27 4GB ram plus cu ce vine fiecare ofertă https://github.com/a-c-m/puppet-drupal-lamp 20 de url-uri din magazinul online 7 utilizatori anonimi 7 utilizatori autentificați 10 minute Testare Wednesday, May 29, 13
- 28. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 28 4GB ram plus cu ce vine fiecare ofertă https://github.com/a-c-m/puppet-drupal-lamp 20 de url-uri din magazinul online 7 utilizatori anonimi 7 utilizatori autentificați 10 minute Testare Wednesday, May 29, 13
- 29. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 29 Amazon Rackspace Cloud Microsoft Azure Dediserve LunaCloud Testare Wednesday, May 29, 13
- 30. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 30 Testare Wednesday, May 29, 13
- 31. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 31 4 Stocare Wednesday, May 29, 13
- 32. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 32 Mai mult de un server web? https://www.getpantheon.com/news/inside- pantheon-valhalla-filesystem Stocare Wednesday, May 29, 13
- 33. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 33 NFS Server cu mult spațiu de stocare + NFS Soluție veche, testată și funcțională Un singur punct de eșec În funcție de furnizor - server cu 64 GB RAM Gluster FS Impresionant dar nu e potrivit pentru Drupal Mai complicat dar merită SAN, HekaFS, Cloudfuse, s3fs etc Stocare Wednesday, May 29, 13
- 34. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 34 5 CDN Wednesday, May 29, 13
- 35. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 35 De ce este nevoie? Wednesday, May 29, 13
- 36. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 36 Push (CloudFiles, Amazon S3) Fără trafic redundant Mai complex de instalat Pull Foarte simplu de instalat Mult trafic redundant DNS (Cloudflare / Incapsula) Preia control asupra DNS-ului tău Oferă mai multe (protecție, optimizare) CDN Wednesday, May 29, 13
- 37. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 37 6 Ce am facut? Wednesday, May 29, 13
- 38. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 38 Ce am facut? Am ales Dediserve http://dediserve.com Wednesday, May 29, 13
- 39. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 39 Demotix azi ‣ 1 Load balancer ‣ Varnish ‣ 6 Web servers ‣ Apache, mod_php ‣ 1 server DB ‣ MariaDB ‣ 2 servere utilitare ‣ Memcached ‣ Solr ‣ FTP Server ‣ Beanstalk Wednesday, May 29, 13
- 40. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 40 Puppet NFS Pull CDN Dediserve + Monitor.us Splunk Jenkins + Github Ce am facut? Wednesday, May 29, 13
- 41. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 41 7 Concluzii Wednesday, May 29, 13
- 42. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 42 Cloud-ul nu este un “magic bullet”. Furnizorii diferă foarte mult. Benchmarking-ul poate diferenția furnizorii. Cel mai bun benchmark este propria aplicație folosind trafic real. Stocarea fișierelor poate fi complicată. CDN-urile pot oferi un spor de performanță fără muncă complexă. Concluzii Wednesday, May 29, 13
- 43. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 43 jobs@demotix.com Developer (Drupal / Angular / Node.js / etc) Devops Wednesday, May 29, 13
- 44. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 44 DrupalCamp Târgu Mures 2 si 3 Noiembrie 2013 http://mures2013.drupalcamp.ro/ Wednesday, May 29, 13
- 45. Linux Open Alternative Day 2013 - Alexandru Badiu - Cloud to the rescue LOAD 45 Thanks! Questions? Alexandru Badiu. Twitter @voidberg Web http://ctrlz.ro Email andu@ctrlz.ro D.O http://drupal.org/user/8662 Wednesday, May 29, 13