Big data y hadoop
0 recomendaciones7,761 vistas
Este documento presenta información sobre Big Data y Hadoop. Explica las características del Big Data como el gran volumen de datos, la variedad de fuentes y la necesidad de una plataforma unificada para el análisis. También describe Hadoop, su definición y ecosistema asociado. Finalmente, destaca la falta de personal especializado en Big Data y ofrece recomendaciones para tomar decisiones más rápidas.
Big data y hadoop
- 1. 05/07/2013 1 Big Data y Hadoop Agenda 1. Big Data 2. Hadoop 3. Personal especializado 4. Recomendaciones Evolución de la Tecnología BIG DATA WEB Petabytes CRM Terabytes Gigabytes ERP Exabytes Implementación de nuevas tecnologías User Generated Content Mobile Web SMS/MMS Sentiment External Demographics HD Video Speech to Text Product/ Service Logs Social Network Business Data Feeds User Click Stream Web Logs Offer History A/B Testing Dynamic Pricing Affiliate Networks Search Marketing Behavioral Targeting Dynamic Funnels Payment Record Support Contacts Customer TouchesPurchase Detail Purchase Record Offer Details Segmentation
- 2. 05/07/2013 2 Carácterísticas Volumen 2 a 100 Teras Velocidad ETL < 1 hora In Memory Variedad No Estructurada Múltiples fuentes Necesidad Plataforma Unificada Análisis con SAS, R, SQL, Java, C++, Python Visualization con BI, Mobile, Excel Descubrir y Explorar Datos no estructurados Análisis datos estructurados Capturar y Refinar datos Red Social SMS Textos Audio Video Imágenes ERP Logs CRM Visualizar y Compartir Información Hadoop
- 3. 05/07/2013 3 Definicion Apache Hadoop es un framework de software que soporta aplicaciones distribuidas bajo una licencia libre. Permite a las aplicaciones trabajar con miles de nodos y petabytes de datos. Hadoop se inspiró en los documentos Google para MapReduce y Google File Systems (GFS). Wikipedia Diversas Fuentes de Informacion • Perfiles redes sociales • Influenciadores sociales • Aplicaciones en la nube SaaS • Informacion publica web • Resultados Map Reduce • Data warehouse appliances • Bases de datos columnares NoSQL • Video e imagines • Logs y sensores Granja de servidores
- 4. 05/07/2013 4 Ecosistema HDFS HBase Pig, Hive, Mahout Map Reduce Sqoop Flume Resource Management & Workflow Yarn Zookeeper Apache Pivotal HD Added Value Configure, Deploy, Monitor, Manage Command Center Hadoop Virtualization (HVE) Data Loader Pivotal HD Enterprise Xtension Framework Catalog Services Query Optimizer Dynamic Pipelining ANSI SQL + Analytics HAWQ– Advanced Database Services Pivotal HD Architecture Uso de Hadoop Conseguir Personal Especializado BIG DATA
- 5. 05/07/2013 5 Falta Personal Especializado Las empresas van a tener que adecuar sus organizaciones para poder manejar Big Data: • Quien debe ser el dueño de la Data ? • Chief Analytics Officer ? Chief Big Data Analytics Officer ? • Las empresas van a necesitar areas de Big Data Analytics Falta Personal Especializado • Demanda de Talento analítico insatisfecha. • Es difícil de ubicar Personal especializado en Big Data, son muy escasos. • Nuevos Talentos requeridos con nuevos perfiles. • Las Universidades tienen que crear nuevas carreras que recien egresaran en 3 o 5 años. Falta Personal Especializado • Se van a generar más escuelas de Analytics y Big Data. • Se va a generar un nuevo ecosistema de empresas que ofrecen estos servicios como PowerData • Data Scientist ? www.datascientist.net
- 6. 05/07/2013 6 Recomendaciones • No es el GRANDE en que se come al chico • Es el RAPIDO el que se come al lento • Si Usted no puede tomar decisiones con rápidez, cualquier acción que tome no alcanzará la velocidad adecuada. Jason Jennings y Laurence Haughton Big or Fast ? 1. Pensar con Rápidez 1. Prever 2. Detectar tendencias 3. Filtrar ideas 4. Dejar que gane la mejor 2. Decisiones rápidas 1. Reglas de negocios 2. Eliminar burocracia 3. Desatarlo todo 4. Intercambiar carteras Como ser más Rápidos 3. Salir al mercado con mayor rápidez 1. Lanzar una Cruzada 2. Ventaja competitiva 3. Que sea sencillo 4. Intercambiar carteras 4. Mantener la velocidad 1. Cuentas claras 2. Ser implacable con los recursos 3. Ser flexible en las finanzas 4. No engañarse Jason Jennings y Laurence Haughton
- 7. 05/07/2013 7 Como ser más Rápidos ¡MUCHAS GRACIAS!