Proyecto Big Data en VUCE MINCETUR
Descargar como PPTX, PDF0 recomendaciones178 vistas
Este documento describe la arquitectura de Big Data propuesta para el proyecto VUCE 2.0 del MINCETUR. Discuten las características de los datos, los objetivos de Big Data y cómo VUCE 2.0 se alinea con estos objetivos debido a su alto volumen, variedad y velocidad de datos. Luego proponen dos arquitecturas, una local "on premise" y otra en la nube, comparando sus beneficios y limitaciones. Finalmente, brindan ejemplos de proyectos de Big Data empleados por el gobierno peruano
Proyecto Big Data en VUCE MINCETUR
- 1. Germán Cayo Morales Consultor Especializado en Gestión y Análisis de Datos PROYECTO VUCE 2.0 - MINCETUR PROYECTOS DE BI y BIG DATA VUCE 2.0
- 2. Página 2Página 2 Indicadores - Big Data VUCE 2.0
- 3. Página 3Página 3 Big Data en el Proyecto VUCE 2.0 jueves, 19 de diciembre de 2019 Datos Estructurados Datos No Estructurados Gran Volumen de Datos
- 4. Página 4Página 4 Big Data en el Proyecto VUCE 2.0 jueves, 19 de diciembre de 2019 • Características de los datos Volumen Variedad Velocidad
- 5. Página 5Página 5 Objetivo de Big Data jueves, 19 de diciembre de 2019 • La verdadera revolución no está en las máquinas que calculan los datos, sino en los mismos datos y como vamos a usarlos. • Big Data se refiere a lo que se pueden hacer a gran escala para extraer nuevas percepciones o crear nuevas formas de valor, de forma que se transforman los mercados, las organizaciones o las relaciones con nuestros clientes
- 6. Página 6Página 6 Big Data en el Proyecto VUCE 2.0 jueves, 19 de diciembre de 2019 Por qué Big Data en el Proyecto VUCE 2.0?
- 7. Página 7Página 7 Big Data en el Proyecto VUCE 2.0 jueves, 19 de diciembre de 2019 • Por qué Big Data en el Proyecto VUCE 2.0? • El Proyecto VUCE 2.0 se alinea a la definición de los Objetivos de Big Data ya que cuenta con las siguientes características: Volumen El alto volúmenes de almacenamiento entre los diferentes Software que participan en el Proyecto VUCE 2.0 Variedad Los diferentes tipos de fuentes de datos que son SQL y NoSQL Velocidad El Proyecto debe permitir responder de forma eficiente a los procesos masivos que debe ejecutar. Valor Genera conocimiento e información esencial a diferentes Entidades del Gobierno y a los Importadores y Exportadores que interactúan en VUCE. Visualización Proporcionar herramientas de análisis para hacer comparaciones y tomar decisiones inteligentes
- 8. Página 8Página 8 Arquitectura Big Data VUCE 2.0 jueves, 19 de diciembre de 2019 Data Discovery Ingesta Almacenamiento Tratamiento Explotación GOBIERNO DE DATOS Proyecto VUCE 2.0 BATCHPROCESSING Data Lake Tercerización Proyecto VUCE 2.0 Tercerización SEGURIDAD DE LA INFORMACION
- 9. Página 9Página 9 Arquitectura Big Data VUCE 2.0 jueves, 19 de diciembre de 2019 BIG Data Arquitectura On Premise
- 10. Página 10Página 10 Ingesta Almacenamiento Tratamiento Arquitectura Big Data VUCE 2.0 – On Premise GOBIERNO DE DATOS SEGURIDAD DE LA INFORMACION Desarrollador ELT Data Enginer Desarrollador ELT Data Science Business AnalyticsRoles Hardware y Software
- 11. Página 11Página 11 Arquitectura Big Data VUCE 2.0 – On Premise jueves, 19 de diciembre de 2019 • Beneficios • Control total de los recursos de hardware y software, personalización de instalación de componentes de Big Data utilizando tecnología Open Source. • Datos almacenados de forma local para su gestión y explotación. • Limitaciones • Conjunto diverso de especialistas para la administración, mantenimiento y soporte de cada componente dentro de la arquitectura. • Infraestructura tecnológica especializada y dedicada para el procesamiento de operaciones. • Limitación de almacenamiento por incremento exponencial de datos en el tiempo.
- 12. Página 12Página 12 Arquitectura Big Data VUCE 2.0 jueves, 19 de diciembre de 2019 BIG Data Arquitectura Cloud Computing
- 13. Página 13Página 13 Arquitectura Big Data VUCE 2.0 – Cloud Computing jueves, 19 de diciembre de 2019 SEGURIDAD DE LA INFORMACION Ingesta Almacenamiento Tratamiento GOBIERNO DE DATOS S3 Estándar Amazon Web Service Azure Data Lake Storage Microsoft Azure Cloud Storage Google Cloud Platform Object Storage Service Huawei Cloud EMR Amazon Web Service Azure Databricks Microsoft Azure Cloud Dataproc Google Cloud Platform Map Reduce Service Huawei Cloud Redshift Amazon Web Service Azure Synapse Analytics Microsoft Azure Big Query Google Cloud Platform Data Warehouse Service Huawei Cloud AWS Transfer Amazon Web Service Azure Data Factory Microsoft Azure Fivetran Google Cloud Platform Cloud Data Migration Huawei Cloud
- 14. Página 14Página 14 Arquitectura Big Data VUCE 2.0 – Cloud Computing jueves, 19 de diciembre de 2019 • Beneficios • Elasticidad ya que se puede ampliar y reducir la capacidad de cómputo. • Almacenamiento a nivel de Petabytes. • Implementación ágil y sencilla a través de los Proveedores de Servicios Cloud. • Capacidad de Interoperabilidad con tecnologías estándar a nivel global. • Alta Disponibilidad integrada. • Limitaciones • Pago por servicios de forma mensual o anual. • Se requiere una conexión permanente a Internet
- 15. Página 15Página 15 Arquitectura Big Data VUCE 2.0 – On Premise vs Cloud jueves, 19 de diciembre de 2019
- 16. Página 16Página 16 Arquitectura Big Data VUCE 2.0 – On Premise vs Cloud jueves, 19 de diciembre de 2019 Características del Cloud Computing: Alta disponibilidad Escalabilidad Elasticidad Agilidad Recuperación de desastres Alcance global Seguridad
- 17. Página 17Página 17 Big Data y Cloud Computing en el Estado Peruano jueves, 19 de diciembre de 2019 • Secretaría de Gobierno Digital: Lineamientos para el Uso de Servicios en la Nube para entidades de la Administración Pública del Estado Peruano : https://www.peru.gob.pe/normas/docs/Lineamientos_Nube.PDF • Implementación de Indicadores en Portal Perú Compras: https://www.perucompras.gob.pe/observatorio/indicadores- acuerdos-marco.php • Estrategia Nacional de Datos Abiertos Gubernamental del Perú: https://www.peru.gob.pe/estrategia.pdf
- 18. Página 18Página 18 Identificación de Proyectos BI – Big Data Proyectos BI y Big Data Dashboards VUCE 1.0 Indicadores VUCE 2.0 Big Data VUCE 2.0
- 19. Página 19Página 19 jueves, 19 de diciembre de 2019 GRACIAS