Framework tecnologici per i Big Data: Data Lake & Data River
Download as PPTX, PDF0 likes539 views
Il documento discute l'evoluzione dei framework tecnologici per i big data, evidenziando il passaggio da architetture consolidate a modelli più dinamici come i microservizi. Sottolinea l'importanza della qualità dei dati e della governance nel contesto dei data lake e dei data warehouse, e il bisogno di adattarsi rapidamente alle nuove tecnologie per mantenere un vantaggio competitivo. Conclude invitando a sperimentare e selezionare attentamente i partner nella trasformazione digitale.
Framework tecnologici per i Big Data: Data Lake & Data River
- 1. Workshop Framework tecnologici per i Big data Andrea Gioia 27/6/2016 Osservatorio Big Data del Politecnico di Milano
- 2. Il mondo che conosciamo EAI: SOA (WS + ESB) Data storage: Relazionali (OLAP + DWH) Landscape applicativo: Applicazioni mature e consolidate nel tempo
- 3. Il futuro non è più (solo) quello di una volta Persone (Social) Organizzazioni (Data Monetization, Open Data) Cose (IoT) Chi produce i dati?Lungo quali dimensioni cresce la complessità?
- 4. Il mondo che verrà EAI: Microservices Data storage: Relazionali (OLAP + DWH) Landscape applicativo: In continua evoluzione
- 5. Un mondo ricco di opportunità…
- 6. …per chi sa coglierle Martec’s Law
- 7. Rimanere fermi è un rischio Le nuove tecnologie sebbene spesso immature crescono a ritmi esponenziali (technology trigger). Se ben impiegate possono garantire un incremento incredibile di vantaggio competitivo (disruptive innovation) Le vecchie tecnologie sebbene consolidate crescono poco (plateau of productivity). Anche se utilizzate al meglio garantiscono un incremento marginale di vantaggio competitivo (incremental innovation)
- 8. L’esempio (negativo) di Kodak
- 9. Come gestire la complessità Data Bus (es.Kafka) Data System Data System Data System Data System App App Spaghetti Architecture Data Bus Architecture
- 10. Data lake e data river Senza un data river il data lake diventa ben presto una palude
- 11. Il data lake e il dwh Data Lake 1. Dati non aggregati 2. Dati Strutturati e non 3. Computazione batch DWH 1. Dati aggregati 2. Dati Strutturati 3. Computazione online Uno non sostituisce l’altro. Data Bus Data Lake DWH
- 12. Data governance • L’importanza della qualità del dato rimane centrale (l’ETL non è morto) • Metadati nel data river per l’interazione tra le componenti (schema registry) e data lineage • Metadati nel DL per il data discovery (informed data lake)
- 13. Conclusioni • Non rimanere fermi • Data platform (data bus e data governance) • Processo agile (iterazioni corte, MVC e non temere di svoltare quando serve) • Sperimentare nuove strade (disruptive innovation vs incremental innovation) • Selezionare con cura i propri compagni di viaggio
- 14. GRAZIE!