Hadoop, Cloud y Spring
4 recomendaciones2,263 vistas
El documento proporciona una introducción general a Hadoop, incluyendo su historia, arquitectura principal (HDFS y MapReduce), ejemplos de aplicaciones como el análisis de redes sociales y subastas publicitarias en tiempo real, y su integración con plataformas en la nube como AWS y frameworks como Spring. También menciona otros proyectos relacionados como Hive, Pig y HBase.
![Otros enfoques: Volunteer [email_address]](https://image.slidesharecdn.com/miguelpastor-springio-2011-hadoop-spring-110219013739-phpapp02/85/Hadoop-Cloud-y-Spring-29-320.jpg)
Hadoop, Cloud y Spring
- 1. Hadoop, Cloud y Spring Miguel Ángel Pastor Olivar
- 2. Contenidos ¿Qué es Hadoop? Motivaciones
- 3. Arquitectura básica de Hadoop
- 4. Una visión general de Map/Reduce
- 6. Hadoop y cloud: combinación perfecta
- 9. ¿Qué es Hadoop ?
- 10. Un poco de historia Subproyecto de Nutch (liderado por Doug Cutting)
- 11. Google papers: GFS y Map/Reduce framework (2004)
- 12. Adoptan los papers anteriores en Nutch
- 13. Yahoo! contrata a Doug Cutting (Enero 2006)
- 14. Apache top level project (2008) Clúster linux +10000 núcleos
- 15. Ámbito y retos Infraestructura procesamiento batch distribuido Accesible
- 16. Robusto
- 17. Escalable
- 18. Simple En la actualidad volúmenes de petabytes
- 19. Ámbito y retos Problemática programación distribuida: fallos de red, congestión, fallo de un proceso, sincronización, . . .
- 20. ¿Por qué distribuido? Ley de Moore
- 21. Enfoque Hadoop Modelo de programación simplificado
- 23. “ Movimiento ” de los programas Proceso de Mapping Proceso de Reduce Proceso de Mapping Proceso de Mapping Proceso de Reduce Proceso de Reduce
- 24. Otros enfoques: RDBMS RDBMS MapReduce Tamaño Datos Gigabytes Petabytes Acceso Batch e interactivo Batch Actualizaciones (R/W)* W1/R* Estructura Estático Dinámico Integridad Alto Bajo Escalado Scale-up Scale-out Programación Declarativa Funcional
- 25. Otros enfoques: Grid Manejo grandes volúmenes datos
- 26. Sistema de archivos compartido ( SAN )
- 28. Messaging Passing Interface (MPI) : bajo nivel
- 29. Otros enfoques: Volunteer [email_address]
- 30. Donación de tiempo de CPU inactivo
- 31. Intensivo en CPU
- 32. Modelo de transmisión de datos
- 33. Componentes de Hadoop
- 34. HDFS Sistema de archivos distribuido (maestro/esclavo)
- 35. Diseñado para: Archivos muy grandes (petabytes)
- 36. Una escritura y múltiples lecturas
- 37. Hardware barato No diseñado para: Bajas latencias en accesos a datos (milisegundos)
- 39. Múltiples escritores ni en posiciones arbitrarias
- 40. Arquitectura HDFS NameNode Maestro del clúster
- 41. Gestión sistema de archivos y metadatos DataNode Almacenan la información
- 42. Reportan al NameNode SecondaryNameNode Snapshots del namenode principal (periódicos)
- 43. HDFS: comandos básicos Crear un directorio: hadoop dfs -mkdir path
- 44. Añadir archivo: hadoop dfs -put file HdfsPath
- 45. Eliminar: hadoop dfs -rmr HdfsPath
- 46. Recuperar un archivo: hadoop dfs -get HdfsPath
- 47. Otros sistemas de archivos Filesystem URI Implementación Local file fs.LocalFileSystem HDFS hdfs hdfs.DistributedFileSystem HFTP hftp hdfs.HftpFileSystem HSFTP hsftp hdfs.HsftpFileSystem HAR har fs.HarFileSystem KFS kfs fs.kfs.KosmosFileSystem FTP ftp fs.ftp.FTPFileSystem S3 (nativo) s3n fs.s3native.NativeS3FileSystem S3 (bloques) s3 fs.s3.S3FileSystem
- 48. Map/Reduce
- 49. Conceptos básicos Modelo de programación no convencional
- 50. Dos fases: map y reduce Pares clave-valor como entradas y salidas (tipos indicados por el desarrollador)
- 51. Debemos especificar función de map y reduce Inmutabilidad
- 52. Flujo de información Datos locales (previamente cargados) Datos intermedios de los mappers (ordenados) Intercambio (aleatorio) de valores Generación de la salida Proceso de Mapping Proceso de Reduce Proceso de Mapping Proceso de Mapping Proceso de Reduce Proceso de Reduce
- 53. Funciones combiner Limitaciones ancho de banda del clúster
- 54. Minimizar el flujo de transferencia de información
- 55. Utilización de funciones combiner Se ejecutan sobre la salida del mapper
- 58. Nuestro primer programa: Contando palabras
- 60. JobTracker Maestro de los nodos de computación
- 61. Coordinador entre nosotros y Hadoop
- 62. Determina el plan de ejecución Archivos a procesar
- 63. Asignación de tareas a nodos
- 64. Monitorización Un demonio por clúster
- 65. TaskTracker Gestionan la ejecución en los nodos esclavo
- 66. Uno por cada esclavo Puede crear múltiples máquinas virtuales Comunicación con el JobTracker Gestión de los errores
- 67. Reasignación de tareas fallidas
- 68. Mecanismo de ejecución Sistema de archivos compartido Programa Map/Reduce JobClient JobTracker TaskTracker Child Tareas Map o Reduce 1 2 4 3 6 5 7 9 8
- 69. Hadoop streaming API escritura funciones en otros lenguajes Lectura/escritura de la salida estándar Encaja perfectamente en procesado de textos
- 70. Ejemplo HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc
- 71. Hadoop y cloud: una combinación perfecta
- 72. Amazon Web Services (AWS) Clúster hadoop sobre la infraestructura Amazon
- 73. Espacio de almacenamiento S3
- 74. Nodos de ejecución EC2
- 75. Aprovisionamiento dinámico en función de nuestras necesidades
- 76. Proceso de trabajo Subir datos al espacio de almacenamiento S3
- 77. Subir programa a ejecutar
- 78. Configuración del cluster Selección de programa a ejecutar
- 79. Configuración del número y tipo de nodos Ejecución
- 91. Usos de Hadoop
- 92. Análisis de redes sociales (I) Registros de llamadas telefónicas Llamante Llamado C-origen C-destino Fecha Duración Intervalos temporales tres meses (aprox) Aproximadamente 7000 millones de registros Procesamiento batch preparación de datos Originirariamente escritos en C++ multihilo Modelos estádisticos construcción redes sociales (SAS)
- 93. Análisis de redes sociales (II) Cluster hadoop propio ~ 2 Terabytes de espacio
- 94. 16 nodos
- 95. Nivel de replicación: 2 (proceso no crítico) Uso interno Imposibilidad implantación en corporaciones grandes
- 96. Real Time Bidding (RTB) Subasta en tiempo real para espacios publicitarios
- 97. Construcción de modelos matemáticos que optimicen los mecanismos de puja
- 98. Información disponible Logs de navegación
- 99. Ventanas temporales: dos-tres semanas Resultados: entrada a plataforma de bidding
- 100. Real Time Bidding (RTB) Cluster Hadoop (pruebas)
- 101. Sistema de archivos: S3 (Amazon) [30,40] Gigabytes diarios Uso de servicios Elastic Map Reduce (Amazon) Habitualmente 16 unidades de computación Procesamiento batch Entrada para modelos estadísticos (SAS)
- 102. Más usos Last.fm Análisis de logs, generación de gráficos, ... Facebook http://wiki.apache.org/hadoop/PoweredBy#F Hadoop + Hive Warehousing Nutch
- 103. Rackspace Procesamiento de logs
- 104. Más usos New York Times Procesamiento de imágenes China mobile Data mining Stumble Upon Recomendaciones de los mejores web sites Proyecto ES2 de IBM Análisis portales empresariales
- 105. Incorporando Spring
- 106. Conceptos generales Extensión Spring para la escritura de programas Hadoop
- 107. Está en fase inicial de desarrollo Inyección de dependencias Map/Reduce como POJOs Uso de anotaciones
- 108. Namespace
- 109. Contando palabras (de nuevo); esta vez con Spring
- 110. Referencias y temática relacionada
- 111. Temas relacionados Hive “SQL” sobre Hadoop Pig Lenguaje de procesado de datos de alto nivel Zookeeper Servicio de coordinación de procesos distribuidos Hbase Base de datos distribuida orientada a columnas
- 113. Referencias Documentación oficial http://hadoop.apache.org/common/docs Tutorial de Yahoo http://developer.yahoo.com/hadoop/tutorial/index.html Hadoop The Definitive Guide, O' Really | Yahoo Press
- 114. Pro Hadoop, Appress, Jason Venner
- 115. Hadoop in Action
- 116. Un poco de SPAM
- 117. Escalabilidad en español Grupo google
- 118. Temática relacionada con la escalabilidad de sistemas software No ligado a ninguna tecnología particular Objetivo: crear una comunidad sólida
- 119. Q&A