Docker, la rivoluzione dei "container" del software
1 like726 views
Il documento descrive la rivoluzione avvenuta nell'ambito della logistica e della tecnologia informatica, iniziata con l'intuizione di Malcolm McLean per il trasporto tramite container. Si esplora l'evoluzione del cloud computing verso ambienti potenziati da soluzioni come IaaS, PaaS e SaaS, enfatizzando il ruolo di tecnologie come Docker per ottimizzare lo sviluppo e la distribuzione delle applicazioni attraverso container leggeri ed efficienti. Inoltre, viene analizzato l'impatto delle architetture containerizzate rispetto alle tradizionali virtualizzazioni, evidenziando miglioramenti in termini di utilizzo delle risorse e performance.
Docker, la rivoluzione dei "container" del software
- 1. Notiziario Ingegneri Verona 3-4/2014 25 Nel 1956 Malcom MkLean, proprietario di una flotta di camion nel Nord Caroli- na, era seduto sul suo camion, in attesa che la merce che trasportava fosse ca- ricata a bordo della nave. Ebbe un’intu- izione geniale guardando gli operai ese- guire le operazioni di carico della nave: caricare l'intero corpo del camion sulla nave sarebbe stato molto più semplice di stivarne il carico. Con questa idea MkLean nel 1956 diede il via alla globalizzazione del commercio attraverso un processo di reingegneriz- zazione della logistica mondiale durato 50 anni (http://www.logisticamente.it/ Articoli/6046/The_Box_la_scatola_ma- gica.aspx). La rivoluzione avvenuta nel mondo fisi- co della logistica sta iniziando a far ru- more anche nel mondo digitale: le archi- tetture “cloud”, in rapida diffusione pa- rallelamente alla crescita dei dispositivi mobili e alla disponibilità diffusa di ban- da larga, stanno producendo una nuova generazione di architetture informatiche supportate dal modello OpenSource. Un processo evolutivo supportato dal crescente interesse e coinvolgimento dei principali attori mondiali del mercato IT come Google, Microsoft, VMWare, Cisco, Red Hat, EMC. Quando si parla di “cloud” generalmen- te ci si riferisce a soluzioni di tipo Iaas (Infrastructure as a Service): in pratica si tratta della trasposizione di una comple- ta “sala server” (o di parti di sistema in- formavo nel caso di una “hybrid cloud”) presso un provider esterno in grado di fornire l’infrastruttura digitale con una politica di tariffazione in base all’utilizzo effettivo (una virtualizzazione completa di server, router, firewall, storage). Docker: la rivoluzione dei “container” del software Carlo Reggiani Attualità Malcolm Mclean, inventore dei moderni container da trasporto (da http://cdn.historyextra.com) Dalla presentazione “Why Docker” (http://www.slideshare.net/dotCloud)
- 2. Notiziario Ingegneri Verona 3-4/201426 Mentre sulle soluzioni IaaS la guerra è oramai solamente sui prezzi dei servi- zi, sul mercato si stanno affacciando nuove generazione di soluzioni archi- tetturali di tipo Saas (Software as a Ser- vice, come per esempio MS Office365) e PaaS (Platform as a Service) in grado di modificare significativamente le infra- strutture digitali in aziende e uffici, ma anche le nostre case con il diffondersi dei device “sempre connessi” (Internet of Things). Google per prima ha investito nei servi- zi PaaS adottando con determinazione il modello “a container”, conquistando il mercato con i suoi servizi “freemium” (gratuiti in versione base, a pagamento in versione business) di posta elettroni- ca, gestione documenti, foto, storage, mappe e navigatori, etc. Lo scorso giugno, ho potuto seguire l’evento Google I/O 2014 dedicato agli sviluppatori (https://www.google.com/ events/io): Google ha presentato con particolare enfasi e ricchezza di dettagli le tecnologie alla base della sua cloud, annunciando alla community la messa a disposizione con licenza OpenSource delle tecnologie implementate per re- alizzare la Google Cloud Platform, fondamenta di tutti servizi erogati della società. I contenuti di alcune presentazioni viste durante la tre giorni di conferenza hanno tracciato la direzione verso la quale pro- babilmente una parte rilevante degli in- vestimenti del mondo IT convergerà nei prossimi anni (http://www.nuvola.com). In particolare mi ha colpito lo speech di Brendan Burns e Craig McLuckie (Go- ogle I/O 2014 - Containerizing the Cloud with Docker on Google Cloud Platform, http://youtu.be/tsk0pWf4ipw) che ha confermato la maturità dell’ap- proccio a container per gli ambienti di produzione e le sue enormi potenzialità: Google sta utilizzando i container per tutte le applicazioni che ben conoscia- mo (Gmail, Drive, Google Maps, etc), Cloud. Datacenter Google, da https://www.google.com/about/datacen- ters. GoogleContainerVideo Attualità
- 3. Notiziario Ingegneri Verona 3-4/2014 27 oltre ad offrire un servizio di hosting per applicazioni di terze parti sulla medesi- ma architettura. Ma come si lavora oggi nell’industria dell’IT? La “rivoluzione cloud” che sta inve- stendo il mondo digitale in questi ultimi anni ci permette di fare una riflessione sull’evoluzione delle architetture IT: per molti professionisti del settore lavorare nell’IT negli ultimi 30 anni, soprattutto in Italia, ha voluto dire affrontare una pro- fessione spesso più vicina all’artigiana- to che all’industria o alla ricerca. La rivoluzione nel campo dell’IT è partita proprio in Italia nei laboratori Olivetti di Ivrea con la creazione del primo “perso- nal computer” della storia, la Program- ma 101 (usata dalla NASA fin dal 1966 per calcolare le traettorie dell’Apollo 11 verso la Luna). Rivoluzione che si è ma- nifestata al grande pubblico nel 1976 grazie a Jobs e Wozniack con l’Apple II, fino a diventare un vero tsunami tec- nologico a livello mondiale negli anni 90 grazie ai Personal Computer (PC) di Bill Gates, IBM e Intel. I PC (diventati poi anche server) hanno scardinato progressivamente metodolo- gie e procedure operative ben sedimen- tate e ancora oggi presenti nel mondo dei mainframe (http://it.wikipedia.org/ wiki/Mainframe) basato su potenti e robusti sistemi di calcolo transazionali dalle capacità elaborative e anche dalle dimensioni fisiche importanti, proget- tati per non essere mai spenti (sosti- tuzione di memoria RAM, CPU, dischi, tutto “a caldo”) e ancora oggi larga- mente utilizzati da banche, pubbliche amministrazioni e aziende private (ht- tp://www.itproportal.com/2014/04/10/ ibm-celebrate-mainframes-50th- new-enterprise-cloud-workload/). La diffusione dei PC in tutti i luoghi di lavoro negli anni ‘80 e ‘90 (studi profes- sionali, aziende private, pubblica am- ministrazione) non ha seguito nessuno dei canoni di progettazione dei siste- mi informativi “legacy” dei mainframe, aprendo la strada a una spumeggiante economia digitale popolata da miriadi di consulenti e micro-aziende in grado di installare, configurare e realizzare appli- cazioni “tagliate su misura” per i clienti. Uno sviluppo sorprendete e mondiale che ha avuto con la diffusione della rete internet il suo boom all’inizio degli anni 2000. L’IT è oggi un universo popolato da un numero enorme di combinazioni har- dware e software, con una complessità in continua espansione a causa della stratificazione delle tipologie e delle ver- sioni dei sistemi operativi, delle librerie software, dei linguaggi di programma- zione, delle nuove piattaforme di elabo- razione (mobile, web, cloud, bigdata), dalla necessità di integrare e far dialo- gare tra loro applicazioni e le basi dati basate su tecnologie diverse. In questo articolato ecosistema produr- re applicazioni software in grado di ri- spettare i canoni di un ciclo di produzio- ne industriale (Application Lifecycle Ma- nagement), magari certificabile secondo Uno scienziato della Nasa al lavoro nel 1969 con il supporto del calcolatore elettronico da tavolo Olivetti P101 (fonte: Associazione Ar- chivio Storico Olivetti, Ivrea - Italy) Steve Jobs Steve Wozniak inventori di Apple II nel 1977
- 4. Notiziario Ingegneri Verona 3-4/201428 norma ISO9001, non è così scontato: ancora oggi solo il 39% dei progetti sof- tware viene concluso con successo, il 43% riscontra problemi e il 18% fallisce (vedi report CHAOS 2012). Cos’è Docker? Docker (http://docker.io) è una piatta- forma OpenSource (Apache License, Version 2.0) per sviluppare, trasportare e eseguire applicazioni software e che permette di separare le proprie applica- zioni dall’infrastruttura del sistema infor- mativo sottostante ottimizzando l’allo- cazione delle risorse hardware. Docker combina un ambiente di vir- tualizzazione per sistemi Linux (ma tra qualche mese anche Microsoft Win- dows) basato su ambienti di esecuzione isolati tra loro senza aver bisogno di un sistema operativo completo: i container sono quindi poco pesanti in termini di ri- sorse hardware e permettono di rendere invariante, con strumenti e workflow a supporto dell’intero ciclo di produzione di una applicazione. La tecnologia di Docker consente di au- tomatizzare la distribuzione delle appli- cazione software all’interno di un “con- tainer” con caratteristiche molto inte- ressanti: il container è leggero dal punto di vista delle risorse fisiche (memoria, processore, spazio disco), portabile, completamente autosufficiente e, cosa fondamentale, un container può essere messo in esecuzione praticamente su ogni diversa combinazione di hardware e sistema operativo. Ed ecco l’innovazione da sempre ri- cercata dai system integrator di tutto il mondo IT nell’era post-mainframe: ga- rantire la ripetibilità delle applicazioni software nelle varie fasi del ciclo di pro- duzione, con l’eliminazione delle proble- matiche delle attività di installazione e configurazione dei vari ambienti (server) usati nel ciclo di produzione. Come si dice tra gli “addetti ai lavori” (DevOps): “Configure once...run anyware!” Con Docker, infatti, il medesimo contai- ner “caricato” da uno sviluppatore sul suo computer portatile verrà spostato ed instanziato per essere testato funzio- nalmente (QA), per poi essere configu- rato dagli integration system engineer con la necessarià scalabilità per l’am- biente di produzione (macchine virtuali, server bare-metal, cluster OpenStack, istanze pubbliche, cloud ibride o varie combinazioni di quanto sopra). Docker permette inoltre di implementare una intera “software factory” con le ca- ratteristiche necessarie per lo sviluppo di applicazioni anche in ambiente cloud: • Isolamento dell’applicazione sof- tware rispetto all’ambiente di ese- cuzione • Automatizzare la pacchettizzazione e la distribuzione di applicazioni • Creazione di infrastrutture “light” private PaaS (Platform as a Service) • Testing automatizzato e continuo per integrazione/distribuzione • Distribuzione e scalabilità di appli- cazioni web, database e servizi di back-end in cloud private, pubbli- che o ibride Docker: solo un’altro ambiente di virtualizzazione? Gli ambienti virtualizzati sono oramai una realtà consolidata nei datacenter di tutto il mondo: sono tecnologie che permettono far convivere su un medesi- mo server fisico diverse ,acchine virtuali complemente indipendenti tra loro, sulle quali installare sistemi operativi relative applicazioni. La “server consolidation” ha permes- so in questi anni di far evolvere i data center rendendoli più efficiente in ter- mini di allocazione risorse e consumi energetici rispetto ai server fisici, ma sta oggi dimostrando una incapacità a sfruttare bene le risorse computazionali disponibili: le stime su sistemi virtualiz- zati (un server host che ospita più server virtuali) parlano di risorse non utilizza- te in media dal 30 al 40% delle risorse effettivamente disponibili (http://www. activestate.com/blog/2014/04/wasted- it-resources). L’approccio “a container” supera l’ar- chitettura virtualizzata a livello di Virtual Machine (tipica delle soluzioni VMWa- re ESX e MS Hyper-V) e si pone come obiettivo anche l’aumento di efficienze dei datacenter. CHAOS_2012. Immagine da http://en.wikipedia.org/wiki/Docker_%28software%29 Attualità
- 5. Notiziario Ingegneri Verona 3-4/2014 29 Docker: “hands-on” Docker realizza dei contenitori virtua- li senza necessità di virtualizzare un completo sistema operativo “ospite” in quanto utilizza la funzionalità cgroups presente nel kernel linux dalla versio- ne 2.6.24 per l’isolamento risorse (cpu, memoria, I/O, networking). Ogni container viene riempito da va- rie stratificazioni di componenti (ima- ges), tipicamente: sistema operativo, applicazione/i, comandi di configurazio- ne. Ogni nuova immagine viene definita at- traverso un file di test (Dockerfile) nel quale si descrivono in sequenza i co- mandi di shell per inserire i vari layer nel container e per installare, configurare e far partire le applicazioni. Su Docker. io è presente una library di immagini pubbliche sia ufficiali (prodotte da Do- cker o direttamente dai vari vendors) sia caricate da utenti, sempre con licenza OpenSource, ma è possibile realizzare dei contenitori di immagini private per esempio a livello aziendale. Nell’esempio a fianco viene descritta la definizione di una nuova immagine estendendo una immagine base linux Ubuntu e quindi installando via apt-get tool e framework Python per realizzare una semplice Web Server Gateway In- terface (WSGI) a partire da sorgenti su GitHub (per i dettagli consultare il tuto- rial completo su https://www.digitalo- cean.com/community/tutorials/docker- explained-how-to-containerize-python- web-applications). Notare come non si installi un sistema operativo, ma si indichi solamente quale immagine utilizzare (estendere) dal re- pository pubblico di Docker l’immagine (nell’esempio l’ultima release) di Ubun- tu: ############################################################ # Dockerfile to build Python WSGI Application Containers # Based on Ubuntu ############################################################ # Set the base image to Ubuntu FROM ubuntu # File Author / Maintainer MAINTAINER Maintaner Name # Add the application resources URL RUN echo “deb http://archive.ubuntu.com/ubuntu/ $(lsb_release -sc) main universe” >> /etc/apt/sources.list # Update the sources list RUN apt-get update # Install basic applications RUN apt-get install -y tar git curl nano wget dialog net-tools build-essential # Install Python and Basic Python Tools RUN apt-get install -y python python-dev python-distribute python-pip # Copy the application folder inside the container ADD /my_application /my_application # Get pip to download and install requirements: RUN pip install -r /my_application/requirements.txt # Expose ports EXPOSE 80 # Set the default directory where CMD will execute WORKDIR /my_application # Set the default command to execute # when creating a new container # i.e. using CherryPy to serve the application CMD python server.py A partire dal file Dockerimage possiamo creare una nuova immagine Docker: $ sudo docker build -t my_application_img . A questo punto siamo pronti per creare un container, inserire la nostra nuova immagine e mandare in esecuzione l’applicazione: $ sudo docker run -name my_application_instance -p 80:80 -i -t my_application_img
- 6. Notiziario Ingegneri Verona 3-4/201430 Ottimizzazione risorse e performance L’ottimizzazione dell’uso delle risorse con l’ap- proccio Docker LXC rispetto alla virtualizzazio- ne con hyperhost emerge dai test eseguiti da Boden Russel dei laboratori IBM mettendo a confronto diverse architetture basate sulle me- desime risorse hardware: un server fisico (bare metal), una virtualizzazione con hypervisor e una architettura a container Docker LXC. I risultati confermano i vantaggi dell’approccio a container in termini di utilizzo delle risorse hardware: oltre ad avere un ottimo tempo di boot, il comportamento di un container verso il mondo “fisico” è particolamente vantaggioso. In particolare le operazioni di lettura e scrittu- ra su I/0, grande limite per le virtual machine ospitate su un hypervisor, hanno performance rilevanti e sono mantenuti valori migliorativi anche per CPU, memoria RAM e networking. Rilevante inoltre il vantaggio con i container per l’utilizzo di risorse in stato “Idle”, ossia quando le applicazioni non eseguono carico. Segue un qualche grafico della presentazio- ne: “Passive Benchmarking with docker LXC, KVM & OpenStack” (http://www.slide- share.net/BodenRussell/kvm-and-docker-lxc- benchmarking-with-openstack): Carlo Reggiani Ingegnere.Commissione ICT Attualità