1. Introducción Big Data
1 recomendación128 vistas
Este documento describe los conceptos clave de Big Data, incluyendo sus tres características principales de volumen, velocidad y variedad. Explica cómo las nuevas tecnologías como dispositivos inteligentes, redes sociales, sensores y la nube están generando grandes cantidades de datos estructurados y no estructurados. También describe algunas herramientas comunes como Hadoop que permiten analizar y extraer conocimiento de estos grandes conjuntos de datos.
![Estadísticas de datosTipo Cantidad Comentario
Internet [1] 40% de la población lo utiliza =
2.880 millones
Somos 7.200 millones de personas
en 2015
Internet [2] 20 Exabytes (10^18) 1 Exabyte = 1.000.000 terabytes
Páginas Web [3] +1 Billones (10^12)
Tweets [2] 20 Mil millones (10^9) 50 millones de usuarios
Posts [2] 2.1 Mil millones (10^9) Foros, discusiones, …
Miembros de redes sociales [2] 2.1 Mil millones (10^9) Miembros de 115 sitios
Creadores de contenido social
[2]
600 Millones(10^6) 33% de los usuarios de Internet
Miembros de Facebook [4] 1490 Millones(10^6) 2015
Youtube [5] +Mil millones Usuarios (10^9), +
100 Mil Millones de Horas de
Video/Diario
Blogs [2] 70 Millones (10^6)
Otras publicaciones [2] 10,000 Periódicos y otros
14](https://image.slidesharecdn.com/1-161104103629/85/1-Introduccion-Big-Data-12-320.jpg)
1. Introducción Big Data
- 1. 1 Big Data Cristian González García v 1.1.1 Noviembre 2015
- 2. Índice Introducción Componentes Bibliografía 2
- 4. Introducción ¿Qué está cambiando en la gestión del conocimiento? ¿Porqué son necesarias nuevas herramientas de gestión del conocimiento? ¿Qué está ocurriendo? 4
- 5. Nuevas tecnologías Dispositivos inteligentes (Smartphones) La nube (Cloud Computing) Las redes sociales, micro blogs,… Big Data Open Data (Datos abiertos) The Internet of Things (IoT) Sensores Smart Cities Smart Homes Microcontroladores (Arduino) Microordenadores (RaspberryPi) IPv6 (Internet Protocol version 6) RFID (Radio Frecuency IDentification) NFC (Near Field Communication) Bluetooth QR Code (Quick Response Code) 5
- 6. Todo acaba en la nube Sistemas incrustados Redes de sensores Dispositivos móviles Redes sociales Open Data Big Data Trabajo 6
- 7. La nube … Es el almacén permanente de la información Su escalabilidad permite adaptarse a la gran cantidad de información generada por los objetos y por los humanos Su alta disponibilidad da confianza y fiabilidad Bajos costes de mantenimiento Es una de las piezas clave de la gestión del conocimiento 7
- 8. La nube - Proveedores 9
- 9. La nube – Ventajas Costes reducidos No hay mantenimiento Pagamos por lo que usamos Flexibilidad de productos Actualización constante del HW Almacenamiento “infinito” y escalable Capacidad de procesamiento “infinita” y escalable Accesible desde cualquier sitio 11
- 10. La nube – Inconvenientes La legislación Asignatura de Aspectos Éticos y Legales de la Web (Darío) Pérdida de control Puede que no se adapte exactamente Necesidad de aprender a usar “su” servicio Tal vez, excesiva modularización Seguridad, BDD, plugins, … ¿Conexión a Internet? Casos de quiebra por uso incorrecto 12
- 11. Componentes 13
- 12. Estadísticas de datosTipo Cantidad Comentario Internet [1] 40% de la población lo utiliza = 2.880 millones Somos 7.200 millones de personas en 2015 Internet [2] 20 Exabytes (10^18) 1 Exabyte = 1.000.000 terabytes Páginas Web [3] +1 Billones (10^12) Tweets [2] 20 Mil millones (10^9) 50 millones de usuarios Posts [2] 2.1 Mil millones (10^9) Foros, discusiones, … Miembros de redes sociales [2] 2.1 Mil millones (10^9) Miembros de 115 sitios Creadores de contenido social [2] 600 Millones(10^6) 33% de los usuarios de Internet Miembros de Facebook [4] 1490 Millones(10^6) 2015 Youtube [5] +Mil millones Usuarios (10^9), + 100 Mil Millones de Horas de Video/Diario Blogs [2] 70 Millones (10^6) Otras publicaciones [2] 10,000 Periódicos y otros 14
- 13. Redes Sociales Constituyen un gran almacén de información generada por los humanos Hábitos, gustos, actividades, … Nuestra información personal… ¡Gratis! ¡O por jugar! Son un buen complemento de la información recogida por sensores y objetos inteligentes Muchas aplicaciones son una combinación de redes sociales, objetos inteligentes y la nube Sistemas de recomendación de libros, juegos,… Sistemas de asistencia en tráfico, viajes,… 15
- 14. Sensores Constituyen un gran almacén de información generada por el medio ambiente o nosotros Actividad, sucesos, … Información del mundo real Permiten conectar el mundo real con el mundo virtual Son un buen complemento de la información recogida de las redes sociales Muchas aplicaciones realizan acciones en base a los sucesos en el mundo real Automatismos, juegos, seguridad, … 16
- 15. Big Data I – Las 3 V ¿Cómo analizamos esta avalancha de datos? Con herramientas de Big Data Se pueden construir herramientas de gestión del conocimiento en tiempo real Big Data son los grandes conjuntos de datos que se caracterizan por Su volumen y cantidad Su velocidad de creación y utilización Su variedad de tipos de fuentes (La veracidad de los datos) 17
- 16. Big Data II - Componentes 18
- 17. Big Data III – Tipos de datos 19
- 18. Herramientas Hadoop http://hadoop.apache.org/ Software Open Source Permite trabajar con grandes cantidades de datos Implementa MapReduce Computación paralela mongoDB http://www.mongodb.org/ BBDD NoSQL Cassandra http://cassandra.apache.org/ BBDD NoSQL Amazon Big Data http://aws.amazon.com/es/big-data/ Microsoft Azure http://azure.microsoft.com Cloudera http://www.cloudera.com/content/cloudera/en/home.html Distribuciones de Hadoop y soporte R https://www.r-project.org/ Herramienta matemática para análisis de datos y estadísticas 20
- 21. Bibliografía 23
- 22. Bibliografía 24
- 23. Referencias 25 1. https://en.wikipedia.org/wiki/Internet 2. Big Data Application Architecture Q&A 3. http://www.internetlivestats.com/total- number-of-websites/ 4. https://norfipc.com/redes- sociales/mapa-redes-sitios-sociales- internet-2015.php 5. https://www.youtube.com/yt/press/es/st atistics.html
- 24. 26 Big Data Cristian González García v 1.1.1 Noviembre 2015