Big Data Vs. Open Data
Download as PPTX, PDF0 likes203 views
Il documento discute la relazione tra big data, open data e open information, analizzando le loro definizioni, il quadro normativo e i benefici nel loro utilizzo. Viene evidenziato come l'analisi dei big data possa rivelare informazioni preziose, collettando dati da diverse fonti, e come l'adozione di strumenti semantici e tecnologie di supporto sia cruciale per gestirli. Sono presentati esempi e iniziative significative sia negli Stati Uniti che in Europa, mirate a ottimizzare l'uso dei big data per anticipare trend futuri e migliorare la trasparenza e l'accessibilità delle informazioni.
![Big Data,
Open Data e Open Information
Secondo McKinsey:
[…] Si puo’ parlare in modo proprio di Big Data solo se si
considerano insiemi di dati che superano la capacità di
cattura, archiviazione, gestione ed analisi degli strumenti
software […]
Questo è un concetto troppo variabile e
soggettivo
Individuarli, Analizzarli e Gestirli: Definizione](https://image.slidesharecdn.com/seminariobigdataopendata2017-171124102039/85/Big-Data-Vs-Open-Data-7-320.jpg)
![Open Data e Open Information:
Definizioni e Quadro Normativo
Ovvero!
[…]
Le Pubbliche amministrazioni, al fine
di valorizzare e rendere fruibili i dati
pubblici di cui sono titolari,
promuovono progetti di elaborazione
e di diffusione degli stessi
[…]](https://image.slidesharecdn.com/seminariobigdataopendata2017-171124102039/85/Big-Data-Vs-Open-Data-39-320.jpg)
![Open Data e Open Information:
Definizioni e Quadro Normativo
…Open Data
Open Data: ovvero dati che possono essere liberamente
utilizzati, riutilizzati e ridistribuiti, con la sola limitazione, al
massimo, della richiesta di attribuzione dell’autore e della
ridistribuzione allo stesso modo (ossia senza che vengano
effettuate modifiche)
Disponibilità e accesso: i dati devono essere distribuiti nel
loro complesso […] ed in un formato utile e modificabile
Riutilizzo e ridistribuzione: i dati devono essere forniti a
condizioni tali da permetterne il riutilizzo e la ridistribuzione,
Ciò comprende la possibilità di combinarli con altri basi dati.
Partecipazione Universale: tutti devono essere in grado di
usare, riutilizzare e ridistribuire i dati.](https://image.slidesharecdn.com/seminariobigdataopendata2017-171124102039/85/Big-Data-Vs-Open-Data-41-320.jpg)
Big Data Vs. Open Data
- 1. 1 Big Data vs. Open Information Ing Marco Pirrone Ph.D. PMP
- 2. Agenda Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli: Benefici e Vantaggi; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service;
- 3. Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli: Benefici e Vantaggi Open Data e Open Information: Definizioni e Quadro Normativo Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service Agenda
- 4. Individuarli, Analizzarli e Gestirli Big Data, Open Data e Open Information Cosa si intende esattamente per Big Data? E sufficiente la dimensione per parlare di Big Data?
- 5. Individuarli, Analizzarli e Gestirli Big Data, Open Data e Open Information Il mondo sta cambiando…anche nelle piccole cose
- 6. Individuarli, Analizzarli e Gestirli Big Data, Open Data e Open Information Investimento nella tecnologia di supporto ai Big Data
- 7. Big Data, Open Data e Open Information Secondo McKinsey: […] Si puo’ parlare in modo proprio di Big Data solo se si considerano insiemi di dati che superano la capacità di cattura, archiviazione, gestione ed analisi degli strumenti software […] Questo è un concetto troppo variabile e soggettivo Individuarli, Analizzarli e Gestirli: Definizione
- 8. Big Data, Open Data e Open Information Secondo molti analisti, si sta affrontando un Big Data se il dato ha le caratteristiche di: Volume Varietà Velocità Individuarli, Analizzarli e Gestirli: Le Tre V IBM introduce un’ultieriore dimensione detta Veradicy (Veridicità): afferma che entro il 2015 il 80% dei dati sarà incerto
- 9. Big Data, Open Data e Open Information VelocitàVolume VarietàVarietà Terabyte Records Transazioni Tabelle Files … Strutturati Semi Strutturati Non Strutturati … Batch Periodic Near Real Time Real Time Stream … Varietà Individuarli, Analizzarli e Gestirli: Le Tre V
- 10. Big Data, Open Data e Open Information Qualche esempio: Un motore di un aeromobile genera 10 TB/ogni 30 min e quindi un volo Roma - New York con un quadrimotore genera 640 TB a tratta. Terabyte Records Transazioni Tabelle Files Individuarli, Analizzarli e Gestirli: I Numeri Volume
- 11. Big Data, Open Data e Open Information Qualche esempio: Dal 2005 al 2012 gli RFID (Radio Frequency ID Tag) sono cresciuti da 1.3 a 35 miliardi Terabyte Records Transazioni Tabelle Files Volume Individuarli, Analizzarli e Gestirli: I Numeri
- 12. Big Data, Open Data e Open Information Qualche esempio: Oggi, in meteorologia ci sono milioni di sensori, telecamere e rilevatori dislocati in tutto il pianeta che producono una quantità elevatissima di dati da misurare in tempo reale (es: National Hurricane Center – www.nhc.noaa.gov/) Terabyte Records Transazioni Tabelle Files Volume Individuarli, Analizzarli e Gestirli: I Numeri
- 13. Big Data, Open Data e Open Information Qualche esempio: 30 TB di Log/giorno (2010) 15 TB di Log/giorno (2009) Terabyte Records Transazioni Tabelle Files Volume Individuarli, Analizzarli e Gestirli: I Numeri
- 14. Big Data, Open Data e Open Information Qualche esempio: Terabyte Records Transazioni Tabelle Files Volume Per il 2020, IDC afferma che avremo on line una quantità di byte pari ad almeno 40 volte la quantità di granelli di sabbia di tutte le spiagge della Terra Individuarli, Analizzarli e Gestirli: I Numeri
- 15. Big Data, Open Data e Open Information Individuarli, Analizzarli e Gestirli: I Numeri Terabyte Records Transazioni Tabelle Files Volume
- 16. Big Data, Open Data e Open Information Dati non strutturati dai social media Dati dalla navigazione web; Dati GIS; Dati scientifici.Strutturati Semi Strutturati Non Strutturati Individuarli, Analizzarli e Gestirli: Le Tre V Varietà Dati strutturati in tabelle; Dati semistrutturati; Dati di eventi e macchinari; Dati non strutturati;
- 17. Informazioni non aggiornate hanno un bassissimo valore intrinseco, potrebbero risultare quasi inutili o addirittura dannose. Il tempestivo allineamento delle basi di dati, l’elaborazione delle interrogazioni in tempo reale e la restituzione dei risultati necessitano di tecnologie, architetture e applicazioni ottimizzate e dedicate Big Data, Open Data e Open Information Individuarli, Analizzarli e Gestirli: Le Tre V Velocità Batch Near Real Time Real Time Stream
- 18. Big Data, Open Data e Open Information Potenzialità Exabite: un miliardo di Gigabyte Fonte: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East” realizzata da IDC Studi rilasciati da IDC evidenziano un tasso di crescita del mercato dei big data pari al 40% annuo La maggior parte delle informazioni (68% nel 2012) è creata dai consumatori attraverso i social media, Internet, i sempre più numerosi dispositivi mobili (soprattutto smartphone e tablet), la TV digitale e così via. Nel 2012 ben il 33% dei dati raccolti è stato considerato potenzialmente utile da parte di IDC; si tratta in totale di ben 13mila exabyte di informazioni. Solo il 3% dei dati prodotti nel 2012 è stato correttamente individuato e appena lo 0,5% è stato sottoposto ad una attenta analisi.
- 19. Big Data, Open Data e Open Information del fenomeno Big Data è il fatto che si tratta di miniere di informazioni da cui si possono estrarre strutture di conoscenza e di sapere, profili di trend in atto, previsioni per l’immediato futuro spaventosamente potenti. Benefici e Vantaggi: Una Miniera di Informazioni… Ciò che è immediatamente ed intuitivamente chiaro dallo studio
- 20. Big Data, Open Data e Open Information Ciò che non si percepisce, invece, è il fatto che: Benefici e Vantaggi: …Strettamente Interconnesse connettendo queste singole miniere si ottiene un insieme che è molto di più della somma dei singoli data set. Un insieme reticolare che ci può fornire, non solo le risposte a vecchie domande, ma che può far emergere domande nuove di particolare importanza strategica.
- 21. Big Data, Open Data e Open Information Gli Investimenti per Nuovi Strumenti strumenti “intelligenti” (es. semantici) che permettano di analizzare e gestire queste masse di dati che non si possono affrontare con gli strumenti standard usati per catturare, gestire e processare i normali data set in tempi accettabili. Le realtà del mondo IT sia private che pubbliche sono già in corsa frenetica per mettere a punto efficaci
- 22. Big Data, Open Data e Open Information Gli Strumenti Semantici Un piccolo esempio: supponiamo di avere un insieme limitato di dati costituito da un 13 lettere dell’alfabeto italiano anche ripetute E di cercare sequenze di elementi che abbiamo senso nel contesto di riferimento (la lingua italiana) R LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TVR LLI I EE E AOT TV Come si vede, solo con 13 elementi (lettere) e solo nel contesto della lingua italiana, abbiamo fatto emergere almeno 2 sequenze portatrici di significato…
- 23. Big Data, Open Data e Open Information Gli Strumenti Semantici Possiamo immaginare che cosa si può fare con centinaia di miliardi di miliardi di byte (ovvero con le decine/centinaia di exabyte dei big data attuali, peraltro in veloce crescita)? SICURAMENTE ANCORA NO! Ma possiamo intuire che da questi big data, attraversabili e interpretabili con strumenti di tipo semantico, emergeranno continuamente nuovi pattern: sia quelli che appaiono in risposta a nostre specifiche domande, richieste, esigenze, sia quelli completamente imprevisti, che emergono per pura serendipity (fare scoperte piacevoli per puro caso)
- 24. Big Data, Open Data e Open Information Attraverso i nuovi strumenti matematico/linguistici si riesce ad estrarre sapere da grossi set di dati, con risultati concreti non indifferenti: Esempi Reali Importanti Si veda per esempio l’articolo di Luca De Biase sulla “Big Data Politics” in cui si racconta come lo staff di Obama abbia utilizzato strumenti semantici di analisi dei big data di efficacia molto superiore ai tradizionali sondaggi per monitorare l’opinione pubblica nelle singole contee per le elezioni presidenziali del 6 novembre 2012; L’ esperimento dell’Università dell’Indiana (diventato poi spin off e grappolo di aziende di successo) che ha permesso di prevedere all’87% l’andamento di Borsa nelle 48/72 ore dopo la rilevazione e l’analisi semantica del sentimen di centinaia di milioni di tweet (si vedano i tanti articoli usciti su Nòva Sole24ore, su Wired o su siti specialistici. (2010-2012)
- 25. Big Data, Open Data e Open Information Gli Investimenti per Nuovi Strumenti Nel 2012 l’Amministrazione Obama negli Usa ha finanziato con 200 milioni di dollari la Big Data Research and Development Initiative, composta da 84 diversi programmi di ricerca sui big data, distribuiti su 6 dipartimenti federali L’Unione Europea ha stanziato un miliardo di euro con cui finanziare per un decennio (cento milioni l’anno) un insieme composto da sei progetti innovativi in tale ambito: il progetto bandiera è FuturICT (http://www.futurict.eu/the- project) che coinvolgerà centinaia dei migliori scienziati europei; cuore del progetto è il Living Earth Simulator, una enorme rete di calcolo che vuole aggregare i big data provenienti da tutto il mondo per elaborarli con nuovi modelli matematici e teorie sociali ancora da definire, con l’obiettivo di far emergere i pattern in grado di dare indicazioni per individuare e quindi gestire trend futuri, come per esempio, una prossima crisi economica o una epidemia o una catastrofe ecologica o finanziaria.
- 26. Big Data, Open Data e Open Information Le Nuove Applicazioni
- 27. Big Data, Open Data e Open Information La Nostra Esperienza: Semantica e Social Per motori semantici (rifacendoci al neologismo lanciato da Tim Berners- Lee una decina di anni fa) intendiamo quei software che analizzano il significato delle parole nel proprio contesto: motori di ricerca che non si limitano a cercare negli archivi specifiche sequenze di bit, ma che analizzano la sequenza di bit richiesta all’interno di una ontologia, ovvero di una rete di rapporti con altre parole «connesse»
- 28. Big Data, Open Data e Open Information Crawler Search Engine Index Search Engine Search Engine Document Processing Pipeline Document Repository Document Chunk Semantic Classification Queue Semantic Classification Module Semantic Classifier Index Updater Queue Semantic TAG Classificazione Semantica MOSEPA: Motore di Ricerca Semantico e Partecipativo
- 29. Big Data, Open Data e Open Information Ricerca in linguaggio Naturale MOSEPA: Motore di Ricerca Semantico e Partecipativo Natural Language Query Semantic Classification Module Semantic TAG Search Engine Tagged Index Results
- 30. Big Data, Open Data e Open Information AVIC (Assistente Virtuale Intelligente Cooperativo) è una applicazione che, integrandosi con un motore di ricerca, permette di ottenere una riorganizzazione dei risultati provenienti dalla query eseguita sul motore di ricerca stesso, sulla base del gradimento (implicito e/o esplicito) espresso dalle persone indicate come appartenenti alla rete sociale dell'utente (sia personale, es. facebook, che professionale, es. linkedin, organigramma aziendale, ecc.) I risultati ritenuti validi dagli utenti attendibili verranno privilegiati e quindi mostrati nelle prime posizioni dell’insieme dei risultati totali Il Social Search: AVIC Condividere l'esperienza nella ricerca dell'informazione
- 31. Big Data, Open Data e Open Information Scopo • Assistere l’utente nell’individuazione di contenuti • Classificare automaticamente, secondo classificazioni dinamiche, i risultati delle ricerche • Raccomandare i risultati ritenuti utili da un utente ad altri utenti “vicini”. Risultato • L’applicazione permette di rimodulare il ranking associato ai risultati di una ricerca/ basandosi sul feedback fornito (implicitamente e/o esplicitamente) dagli utenti appartenenti al proprio social network: i risultati ritenuti validi dagli utenti attendibili verranno privilegiati e quindi mostrati nelle prime posizioni dell’insieme dei risultati totali IL Social Search: AVIC Condividere l'esperienza nella ricerca dell'informazione
- 32. Big Data, Open Data e Open Information I Nostri Partner Tecnologici Crawling libero, massivo, alla ricerca di fonti di informazione potenzialmente interessanti Analisi linguistica e semantica multi-lingua e cross-lingua (IT, EN, FR, DE, ES, PT) Analisi di sentiment Classificazione delle informazioni (clustering supervisionato e non) Navigazione sulla mappa dei concetti Identificazione delle relazioni logiche
- 33. Open Data e Open Information: Definizioni e Quadro Normativo Open Data: Tecnologie Hadoop nasce come progetto Apache, e quindi come open source, ispirato: • dalla soluzione MapReduce di Google,i dati iniziali sono una serie di record che vengono trattati singolarmente da processi chiamati Mapper e successivamente aggregati da processi chiamati Reducer; • dal Google File System, non ci si aspetta di accedere in modo chirurgico ad un singolo file o ad una porzione di questo, ma piuttosto è previsto che le analisi operino su una gran parte dei dati memorizzati. Il maggiore contributore al progetto è Yahoo, che ne fa un uso massiccio al proprio interno: tra le più importanti realtà che oggi fanno uso di Hadoop possiamo citare AOL, Ebay, Facebook, Linkedin e Twitter.
- 34. Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Agenda
- 35. Open Data e Open Information: Definizioni e Quadro Normativo Open Data e Open Information: Quadro Normativo Legge n. 633/1941 Legge a protezione del diritto d'autore e di altri diritti connessi al suo esercizio Copyright, Diritto d’autore, Titolarità dei contenuti e dei dati pubblici, Licenze per il riutilizzo Legge n. 241/1990 Nuove norme in materia di procedimento amministrativo e di diritto di accesso ai documenti amministrativi Trasparenza D. Lgs. n. 196/2003 Codice in materia di protezione dei dati personali Privacy, Sicurezza Legge n. 4/2004 Disposizioni per favorire l'accesso dei soggetti disabili agli strumenti informatici Accessibilità D. Lgs. n. 82/2005 Codice dell’Amministrazione Digitale (CAD) Diritto dei cittadini all’uso delle tecnologie, E- democracy, E- partecipation, Titolarità dei dati pubblici, Formati aperti Provvedimento Descrizione Parole Chiave
- 36. Open Data e Open Information: Definizioni e Quadro Normativo Open Data e Open Information: Quadro Normativo Provvedimento Descrizione Parole Chiave D. Lgs. n. 36/2006 Attuazione della direttiva 2003/98/CE relativa al riutilizzo di documenti nel settore pubblico Riutilizzo delle informazioni del settore pubblico D. Lgs. n. 163/2006 Codice dei contratti pubblici in materia di lavori, servizi e forniture Contratti, Titolarità dei contenuti acquisiti dalle Amministrazioni D. Lgs. n. 150/2009 Ottimizzazione della produttività del lavoro pubblico e di efficienza e trasparenza delle pubbliche amministrazioni Trasparenza, valutazione e merito, Programma triennale per la trasparenza D. Lgs. n. 32/2010 Attuazione della direttiva 2007/2/CE, che istituisce un'infrastruttura per l'informazione territoriale nella Comunità europea (INSPIRE) Pubblicità, informazione territoriale, riutilizzo
- 37. Open Data e Open Information: Definizioni e Quadro Normativo Il rapporto Vickery della commissione europea afferma che il valore di mercato nell’uso dell’informazione aperta generata dal settore pubblico è stimato intorno ai 140 miliardi di euro all’anno nell’Unione Europea. Dal sole 24 ore del 14/11/2013 "Il valore globale di Open Data? 3mila mld di dollari secondo McKinsey", più in dettaglio … I benefici per i cittadini, hanno calcolato a Mc Kinsey, vanno da 400 miliardi di dollari a 1.000 miliardi di dollari all'anno. Gli Stati Uniti potrebbero guadagnare un potenziale di 1.000 miliardi di dollari all'anno; l'Europa 900mila milioni dollari e il resto dei paesi 1.700 miliardi dollari. Il valore dei dati pubblici
- 38. Open Data e Open Information: Definizioni e Quadro Normativo Open Data e Open Information: Quadro Normativo CAD, Codice di Amministrazione Digitale: D. Lgs n. 82/2005 Riforma del CAD (D.Lgs. N. 82/2005) Direttiva 2003/98/CE del 17 novembre 2003 sul riutilizzo di documenti nel settore pubblico (recepita dall’ordinamento italiano con il Decreto Legislativo 24 gennaio 2006 n. 36) Linee guida per i siti web della PA, pubblicate ai sensi dell’art. 4 direttiva del Ministro della Pubblica Amministrazione e l’Innovazione del 26 novembre 2009, n.8; Evoluzione del concetto di trasparenza secondo il D. Lgs n.150/2009 che estende gli articoli 22 e seguenti della legge 7 Agosto 1990, n.241 che disciplina del diritto di accesso ai documenti amministrativi Deliberazione Civit n. 105/2010 per accessibilità totale Vademecum: Open data, Come rendere aperti i dati delle pubbliche amministrazioni (2011);
- 39. Open Data e Open Information: Definizioni e Quadro Normativo Ovvero! […] Le Pubbliche amministrazioni, al fine di valorizzare e rendere fruibili i dati pubblici di cui sono titolari, promuovono progetti di elaborazione e di diffusione degli stessi […]
- 40. Open Data e Open Information: Definizioni e Quadro Normativo Open Government e … Open Government: si basa sul principio per il quale tutte le attività dei Governi e delle Amministrazioni dello Stato devono essere aperte e disponibili per favorire azioni efficaci e garantire il controllo diffuso sulla gestione della cosa pubblica: Trasparenza: le informazioni devono essere facilmente reperibili Partecipazione: coinvolgimento attivo dei cittadini nei processi decisionali Collaborazione: le istituzioni non si intendono più come strutture a se stanti ma inserite in una rete collaborativa
- 41. Open Data e Open Information: Definizioni e Quadro Normativo …Open Data Open Data: ovvero dati che possono essere liberamente utilizzati, riutilizzati e ridistribuiti, con la sola limitazione, al massimo, della richiesta di attribuzione dell’autore e della ridistribuzione allo stesso modo (ossia senza che vengano effettuate modifiche) Disponibilità e accesso: i dati devono essere distribuiti nel loro complesso […] ed in un formato utile e modificabile Riutilizzo e ridistribuzione: i dati devono essere forniti a condizioni tali da permetterne il riutilizzo e la ridistribuzione, Ciò comprende la possibilità di combinarli con altri basi dati. Partecipazione Universale: tutti devono essere in grado di usare, riutilizzare e ridistribuire i dati.
- 42. Open Data e Open Information: Definizioni e Quadro Normativo …Open Data Completi: devono comprendere tutte le componenti (metadati) che consentano di esportarli ed utilizzarli on line e off line; Primari: devono essere presenti in maniera granulare; Tempestivi: accessibili in modo rapido ed immediato; Accessibili: devo essere disponibili attraverso protocolli standard (HTTP) e senza richiesta di alcuna sottoscrizione di contratto Leggibili da Computer: processabili in automatico da Computer;
- 43. Open Data e Open Information: Definizioni e Quadro Normativo …Open Data In formati non proprietari: devono essere disponibili in formati aperti e pubblici; Liberi da licenze che ne limitino l’uso: devono essere caratterizzati dal licenze che non ne limitino l’uso, la diffusione o la retribuzione (Es. IODL); Ricercabili; Permanenti: le caratteristiche elencate devono perdurare per l’intero ciclo di vita del dato
- 44. Open Data e Open Information: Definizioni e Quadro Normativo Il Formato dei Dati: Dai Row Data Now ai Linked Data Dati disponibili in quei formati che, seppure su supporto informatico, non consentono un'estrapolazione immediata degli stessi (.gif, .jpg, .png, .pdf, .doc). Dati strutturati, codificati con un formato proprietario, utilizzabili anche attraverso tools (es: Microsoft Excel). Dati strutturati, codificati con un formato non proprietario ed importabile (es: CSV). Dati fruibili in forma strutturata e standard specificati dal W3C, raggiungibili a specifiche URL e utilizzabili via Web. (es: XML, RDF). Dati fruibili in forma strutturata e standard definita Linked Open Data, ovvero dati arricchiti di metadescrizioni che rendano esplicito il dato in modo da rendere possibili eventuali incroci con altri Dataset.
- 45. Open Data e Open Information: Definizioni e Quadro Normativo L’opportunità più grande dell’Open Data è rappresentata dall’interoperabilità. Il valore dei dati è tanto più alto quanto più è possibile effettuare correlazioni tra più dataset indipendenti Il Formato dei Dati: Dai Row Data Now ai Linked Data
- 46. Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Agenda
- 47. Open Data e Open Information: Definizioni e Quadro Normativo Organizzarsi per gli Open Data Come suggerito dal Vademecum, per «aprire i dati a disposizione dell’Amministrazione» sarebbe preferibile seguire un approccio per processi a garanzia del miglioramento continuo della qualità dei dati pubblicati (Approccio PDCA). Dove sono i dati a disposizione dell’Amministrazione? Quali sono i dati a disposizione dell’Amministrazione? Quali sono i dati di interesse per la Comunità? Chi detiene i dati e quali diritti ha sugli stessi ? (art. 11 Legge n.633/1941 sul diritto d’autore) Quali sono le qualità dei dati? In che formato sono disponibili i dati? In che formato pubblicare i dati? (Almeno 3 stelle -> data scraping,OCR) Come descrivere il dataset? (metadati descrittivi : titolo, descrizione, periodo di validità) Come e dove pubblicare i dati? (WEB o architettura SW Specifica) Quale licenza utilizzare per la pubblicazione? (IODL) Come promuovere l'esistenza dei dati pubblicati? (http://www.dati.gov.it verso il quale far confluire i riferimenti dei dati aperti da ogni amministrazione ) Identificazione dei Dati Analisi dei Dataset identificati Pubbliicazione dei Dataset Diffusione dei Dataset Pubblicati e
- 48. Open Data e Open Information: Definizioni e Quadro Normativo La nostra esperienza La divisione informatica di un nostro grande cliente della pubblica amministrazione centrale sta definendo al suo interno un Competence Center sugli Open Data allo scopo di standardizzare un modello collaborativo per la pianificazione, il disegno, lo sviluppo, il monitoraggio e la gestione di tutti gli aspetti legati all’Open Data.
- 49. • Informazioni semantiche sul contenuto del data set • Informazioni semantiche sulle singole caratteristiche del dato Open Data e Open Information: Definizioni e Quadro Normativo Metadati e Semantica degli Open Data Per migliorare la loro gestione ed erogazione, gli Open Data vengono arricchiti da informazioni a corredo (metadati) che ne definiscono le proprietà significative e che saranno funzionali alla ricerca e al recupero dei dati stessi. • Caratteristiche strutturali e tecniche del data set • Informazioni sulle modalità di estrazione • Informazioni sul processo di estrazione e sulle fonti Metadata Sintattici Metadata Semantici Aumento della visibilità e della fruizione dei dati, abilitazione alla evoluzione verso i Linked Open Data
- 50. Open Data e Open Information: Definizioni e Quadro Normativo Metadati e Semantica degli Open Data Per migliorare la loro gestione ed erogazione, gli Open Data vengono arricchiti da informazioni a corredo (metadati) che ne definiscono le proprietà significative e che saranno funzionali alla ricerca e al recupero dei dati stessi. • Caratteristiche strutturali e tecniche del data set • Informazioni sulle modalità di estrazione • Informazioni sul processo di estrazione e sulle fonti Metadata Sintattici • Informazioni semantiche sul contenuto del data set • Informazioni semantiche sulle singole caratteristiche del dato Metadata Semantici Aumento della visibilità e della fruizione dei dati, abilitazione alla evoluzione verso i Linked Open Data
- 51. Open Data e Open Information: Definizioni e Quadro Normativo Metadati e Semantica degli Open Data Per migliorare la loro gestione ed erogazione, gli Open Data vengono arricchiti da informazioni a corredo (metadati) che ne definiscono le proprietà significative e che saranno funzionali alla ricerca e al recupero dei dati stessi. • Caratteristiche strutturali e tecniche del data set • Informazioni sulle modalità di estrazione • Informazioni sul processo di estrazione e sulle fonti Metadata Sintattici • Informazioni semantiche sul contenuto del data set • Informazioni semantiche sulle singole caratteristiche del dato Metadata Semantici Aumento della visibilità e della fruizione dei dati, abilitazione alla evoluzione verso i Linked Open Data
- 52. Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Big Data, Open Data e Open Information: Individuarli, Analizzarli e Gestirli; Open Data e Open Information: Definizioni e Quadro Normativo; Come avviare il processo di apertura dei dati; Dagli Open Data agli Open Service; Agenda
- 53. Open Data e Open Information: Definizioni e Quadro Normativo Limiti degli Open Data Mancanza di standard: gli open data vengono offerti secondo una molteplicità di formati e ciò rende la loro consultazione meno agevole: Mancanza di significato: i dati sono offerti in modo grezzo o con chiavi di lettura deboli; Staticità: normalmente gli open data sono una fotografia in un certo momento della base informativa di una amministrazione; Unidirezionalità: lo strumento degli Open Data rende possibile consultare i dati di una amministrazione, ma non consente ad altri soggetti di aggiornare tali dati (se possibile ed utile, secondo procedure concordate);
- 54. Open Data e Open Information: Definizioni e Quadro Normativo Open Service nell’Agenda Digitale Il concetto di Open Data dovrebbe essere esteso per realizzare quello che potremmo chiamare Open Service. Un open service rende disponibile su Internet una funzionalità di un sistema informatico di una amministrazione (un “comando”) che può essere invocata direttamente da altri siti web o applicazioni per estrarre informazioni o per richiedere l’esecuzione di operazioni.
- 55. Open Data e Open Information: Definizioni e Quadro Normativo Vantaggi dei Open Service: la Bidirezionalità Gli Open Service permettono di: Definire logica e formato secondo i quali l’informazione viene estratta; Aggiornare, in maniera controllata e monitorata, i dati delle Amministrazioni;
- 56. Open Data e Open Information: Definizioni e Quadro Normativo Open Data vs Open Service Creare un Open Data è più facile ma meno utile per lo sviluppo di applicazioni evolute ed utili per gli utenti Creare un Open service è più complesso e costoso ma offre molte più possibilità e potenzialità
- 57. Open Data e Open Information: Definizioni e Quadro Normativo Il Nostri Progetti di Ricerca OMODOS Open Marketplace: from Open Data to Open Service Il progetto OMODOS ha l’obiettivo di progettare e sviluppare un Marketplace nella forma di portale user-friendly e 2.0 che sia in grado di garantire l’incontro tra domanda e offerta di Open Data, ma in particolare di Open Service. Da un lato i consumatori, che costituiscono la domanda, sono generalmente i cittadini nei vari ruoli (giornalisti, ricercatori, sviluppatori, ecc.), ma anche le Pubbliche Amministrazioni e le imprese. Dall’altro lato i produttori, che costituiscono l’offerta, sono le Pubbliche Amministrazioni, ma non è da escludere un interesse crescente da parte delle imprese a rendere disponibili i propri dati (es. Enel)
- 58. 59 Grazie per l’attenzione Ing Marco Pirrone Ph.D. PMP Web: www.consulkthink.it Mail: m.pirrone@consulthink.it Telefono:+39 06 45492416