![FORMATOS ABIERTOS - JSON
Valor
Atributo
Arreglo
[ ]
Objeto
{ }](https://image.slidesharecdn.com/opendatadayuio-160315223413/85/Analisis-preparacion-y-visualizacion-de-datos-usando-herramientas-Open-Source-17-320.jpg)
Análisis, preparación y visualización de datos usando herramientas Open Source
- 1. Workshop “Análisis, preparación y visualización de datos usando herramientas Open Source” 05 - Marzo - 2016 Open Data Day - UIO
- 2. OPEN DATA
- 3. ¿QUÉ ES OPEN DATA? ❏ Poner a disposición de la sociedad los datos gestionados por la administración pública ❏ Sin restricciones de derecho de autor ❏ Los datos son abiertos cuando: ➔ Accedidos ➔ Usados ➔ Modificados ➔ Compartidos
- 4. HISTORIA ❏ El 17 de noviembre de 2003, la Directiva del Parlamento Europeo, presentaba un Tratado sobre el acceso de los datos ❏ En el año 2009 el gobierno de Estados Unidos comunicaba su iniciativa de liberar los datos ❏ El 30 de Noviembre de 2010 el Reino Unido liberó una licencia gubernamental
- 5. PRINCIPIOS DEL OPEN DATA ❏ Los datos deben ser: ➔ Públicos ➔ Detallados ➔ Actualizados ➔ Accesibles ➔ Automatizados ➔ Sin Registro ➔ Abiertos ➔ Libres
- 6. BENEFICIOS DEL OPEN DATA ❏ Construir nuevo conocimiento ❏ Más eficiencia en los servicios gubernamentales y la administración pública ❏ Genera nuevos indicadores económicos y sociales ❏ Mide el impacto de las políticas públicas
- 7. OPEN DATA Y POLITICA
- 9. PROYECTOS
- 13. PROCEDIMIENTO 1 Preguntas a responder 2 Obtener los Datos 3 Explorar los Datos 4Modelar los Datos Comunicar y Visualizar Resultados 5
- 14. ALGUNAS FUENTES DE DATOS ❏ Archivos ➔ Formatos Abiertos: CSV, XML, JSON ➔ Formatos Propietarios: Excel, SPSS ❏ Bases de Datos ➔ PostgreSQL, MySQL, Oracle ❏ APIs ➔ Servicios Web SOAP: XML ➔ Servicios REST: XML/JSON ❏ Documentos (PDFs, páginas web, etc.) ❏ Redes Sociales
- 15. FORMATOS ABIERTOS - CSV Cabecera (Header) Separador (, ; |) Enclosure (") Registros (Rows)
- 16. FORMATOS ABIERTOS - XML Etiquetas (Tags) <tag>...</tag> Codificación
- 17. FORMATOS ABIERTOS - JSON Valor Atributo Arreglo [ ] Objeto { }
- 18. APIs - OPEN DATA BANCO MUNDIAL http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT. CD?date=2010:2015&format=xml ❏ Invocación para obtener XML http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT. CD?date=2010:2015&format=json ❏ Invocación para obtener JSON http://api.worldbank.org/countries/all/indicators/DT.DOD.DECT. CD?date=2010:2015&format=csv ❏ Invocación para obtener CSV
- 20. ARQUITECTURA DATA_MODEL (DIMENSIONAL) CSV ETLsCSV CUBO DE DATOS ANÁLISIS Y VISUALIZACIÓN SQL POWER ARCHITECT PENTAHO DATA INTEGRATION PENTAHO SCHEMA WORKBENCH PENTAHO BI SERVER SAIKU ANALYTICS
- 21. SOFTWARE OPEN SOURCE A USAR ❏ Procesamiento de Datos ➔ Pentaho Data Integration CE v5.4 ❏ Entrega de Información ➔ Pentaho Schema Workbench v5.4 ➔ Pentaho BI Server CE v5.4, Saiku Analytics ➔ PostgreSQL v9.3 ➔ SQL Power Architect v1.0.8 ❏ Modelamiento ➔ Oracle JDK v1.7 (Java) ❏ Base de Datos ❏ Software Base
- 23. CONCEPTOS ❏ Consiste en modelar hechos y dimensiones para llegar a lo que se conoce como Modelo Estrella DIMENSIÓN 1 DIMENSIÓN 2 ... DIMENSIÓN N HECHOS
- 24. CONCEPTOS DIMENSIONES ❏ Datos Cualitativos ❏ Representan información de una entidad. Ej. País, Región, Sucursal, Producto HECHOS ❏ Datos Cuantitativos ❏ Representan un indicador o medida. Ej. ventas, deuda externa, comisiones ❏ Los indicadores pueden ser agregados (sum, avg, max, min, count)
- 26. POSTGRESQL ❏ Abrir Terminal y abrir pgAdmin III ❏ Ir a File > Add Server ❏ Crear la base de datos data_model
- 27. SQL POWER ARCHITECT ❏ Abrir Files ❏ Ir al siguiente directorio Computer > /opt/pentaho/architect-1.0.8 ❏ Iniciar la aplicación architect.jar ❏ Conexión: Connections > Add Source Connection > New Connection ❏ Creación del modelo: Tools > Forward Engineer
- 29. PENTAHO DATA INTEGRATION ❏ Descargar archivos CSV: http://bit.ly/1TfVKd9 en el directorio src_data y descomprimir ❏ Crear el directorio src_data en ➔ /home/vagrant/Documents/workshop ../workshop/src_data/DeudaExterna catalogo_indicadores.csv catalogo_paises.csv deuda_externa.csv
- 30. PENTAHO DATA INTEGRATION ❏ Abrir Terminal ❏ Ejecutar los siguientes comandos: ➔ cd /opt/pentaho/data-integration ➔ ./spoon.sh ❏ Seleccionar el repositorio workshop ❏ Conexión: Tools > Repository > Connections > data_model
- 31. CUBOS DE DATOS
- 32. CONCEPTOS ❏ Un cubo es una colección de múltiples dimensiones y medidas FECHA TABLET VENDEDOR 2013 2014 PRODUCTOPC 2015 SMARTPHONE JUAN PEDRO ANDREA MEDIDAS - VENTAS - COMISIONES - CANTIDAD DIMENSIONES
- 33. CUBOS, DIMENSIONES Y MEDIDAS Analogía ❏ Las dimensiones del cubo son a las dimensiones del modelo dimensional ❏ Las medidas del cubo son a los hechos del modelo dimensional Visualización ❏ Un cubo se lo visualiza como una tabla cruzada o tabla pivot
- 34. VISUALIZACIÓN DE UN CUBO FECHA TABLET VENDEDOR 2013 2014 PRODUCTOPC 2015 SMARTPHONE JUAN PEDRO ANDREA TABLET PC SMARTPHONE 2013 2014 2015 2013 2014 2015 2013 2014 2015 JUAN 12 8 14 - - - - - - PEDRO - - - 22 45 16 - - - ANDREA - - - - - - 134 122 245 TABLA PIVOT / CRUZADA
- 35. PENTAHO SCHEMA WORKBENCH ❏ Conexión: Options > Connection > data_model ❏ Publicación del Cubo: File > Publish Admin|password|data_model ❏ Abrir Terminal ❏ Ejecutar los siguientes comandos: ➔ cd /opt/pentaho/schema-workbench ➔ ./workbench.sh
- 36. PENTAHO BI-SERVER ❏ Abrir Firefox: http://localhost:8080 ❏ Abrir Terminal ❏ Ejecutar los siguientes comandos: ➔ cd /opt/pentaho/biserver-ce ➔ ./start-pentaho.sh ➔ sudo su - pentaho ❏ Conexión: Manage Data Sources > New Connection > data_model
- 37. LINKS DE INTERÉS ❏ Blog Data Warehousing / Business Intelligence con herramientas Open Source: http: //ingmmurillo-dwh-bi.blogspot.com/ ❏ Documentación API Banco Mundial: http: //data.worldbank.org/developers/api- overview/basic-call-structure ❏ Evaluador JSONPath en línea: http://jsonpath. com ❏ Pentaho CE https://sourceforge. net/projects/pentaho/files https://sourceforge. net/projects/mondrian/files
- 38. MUCHAS GRACIAS Para preguntas o sugerencias: Gabriela Chasifan | gchasifan@thoughtworks.com Byron Torres | btorres@thoughtworks.com Mauricio Murillo | mmurillo@thoughtworks.com Carlos Fuentes | cfuentes@thoughtworks.com