Hadoop: MapReduce para procesar grandes cantidades de datos
Descargar como PPTX, PDF0 recomendaciones2,161 vistas
Este documento presenta una introducción a Hadoop y MapReduce. Explica que Hadoop es un framework de código abierto para procesar grandes cantidades de datos de forma distribuida a través de clusters de computadoras. Describe los componentes clave de Hadoop como MapReduce, HDFS y subproyectos como Pig, Hive y HBase. Finalmente, incluye una sección de demostración para aplicar los conceptos aprendidos.
Hadoop: MapReduce para procesar grandes cantidades de datos
- 1. HadoopMapReducepara procesar grandes cantidades dedatosRaúl Ochoa
- 2. Antecedentes
- 9. AntecedentesSistemas DistribuidosProgramación FuncionalÁlgebraJavaGoogleCrédito de Libre Elección
- 10. AntecedentesSistemas DistribuidosProgramación FuncionalÁlgebraJavaGoogleCrédito de Libre Elección
- 11. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 12. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 13. Introducción
- 14. IntroducciónObjetivosBaseCaracterísticasHistoriaPowered byComparación con otros sistemas
- 15. ObjetivosOpen SourceComputación distribuidaProcesar grandes cantidades de datos
- 16. ObjetivosOpen SourceComputación distribuidaProcesar grandes cantidades de datos
- 17. ObjetivosOpen SourceComputación distribuidaProcesar grandes cantidades de datos
- 18. BaseMapReduceGFS
- 23. HistoriaCreador: Doug Cutting2002-2004: Nutch2004-2006: GFS & MapReducePapers2006-2008: Yahoo!
- 24. HistoriaCreador: Doug Cutting2002-2004: Nutch2004-2006: GFS & MapReducePapers2006-2008: Yahoo!
- 25. HistoriaCreador: Doug Cutting2002-2004: Nutch2004-2006: GFS & MapReducePapers2006-2008: Yahoo!
- 26. HistoriaCreador: Doug Cutting2002-2004: Nutch2004-2006: GFS & MapReducePapers2006-2008: Yahoo!
- 31. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 32. MapReduce
- 35. DEAD LOCK
- 37. MapReduceComputación distribuidaProgramación FuncionalFunciones Map y Reduce
- 40. MapReduceComputación distribuidaProgramación FuncionalFunciones Map y Reducemap() y reduce() en Python
- 41. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 42. HDFS
- 43. HDFSSuposiciones y ObjetivosArquitecturaNameNodesDataNodesOtras características
- 44. Suposiciones y ObjetivosEl hardware fallaGrandes cantidades de datosMáquinas comunesMover la computación, no los datosPortabilidad
- 45. Suposiciones y ObjetivosEl hardware fallaGrandes cantidades de datosMáquinas comunesMover la computación, no los datosPortabilidad
- 46. Suposiciones y ObjetivosEl hardware fallaGrandes cantidades de datosMáquinas comunesMover la computación, no los datosPortabilidad
- 47. Suposiciones y ObjetivosEl hardware fallaGrandes cantidades de datosMáquinas comunesMover la computación, no los datosPortabilidad
- 48. Suposiciones y ObjetivosEl hardware fallaGrandes cantidades de datosMáquinas comunesMover la computación, no los datosPortabilidad
- 49. Arquitectura
- 50. ArquitecturaEspacio de nombres únicoEscribir una vez, leer variasArchivos divididos en bloquesAcceso directo a los datos
- 51. ArquitecturaEspacio de nombres únicoEscribir una vez, leer variasArchivos divididos en bloquesAcceso directo a los datos
- 52. ArquitecturaEspacio de nombres únicoEscribir una vez, leer variasArchivos divididos en bloquesAcceso directo a los datos
- 53. ArquitecturaEspacio de nombres únicoEscribir una vez, leer variasArchivos divididos en bloquesAcceso directo a los datos
- 54. Arquitectura
- 55. NameNodeControla el espacio de nombresFicheros <> BloquesBloques <> DataNodesConfiguración de clusterMetadata
- 56. NameNodeMetadataEn memoriaFicherosAtributos: creación, factor de replica.BloquesBloques <> DataNodesLOG
- 57. Arquitectura
- 58. DataNodeServidor de bloquesReportes al NameNodeEnvió de datos a otros DataNodes
- 59. DataNodeServidor de bloquesReportes al NameNodeEnvió de datos a otros DataNodes
- 60. DataNodeServidor de bloquesReportes al NameNodeEnvió de datos a otros DataNodes
- 61. Arquitectura
- 62. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz web
- 63. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz web
- 64. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz web
- 65. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz web
- 66. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz web
- 67. Otras característicasDisposición de los bloquesHeartbeatsReplicaciónValidación de los datosBalanceoInterfaz de acceso
- 68. Fallos en NameNodeSingle Point of FailureLOGNameNode secundario
- 72. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 73. MapReduce + HDFS
- 87. HadoopStreamingUtilidadSencillezPensar en tuberías (à la POSIX)Prototipado rápidoNo JavaDemo
- 88. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 89. Subproyectos
- 93. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 94. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 95. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 96. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 97. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 98. ZooKeeperA. distribuidas: fallos parcialesSimpleExpresivoAlta disponibilidadLooselycoupledAlto rendimiento
- 100. PigLenguaje de script: PigLatinNivel de abstracciónOperaciones y transformacionesMapReduce JobsNo es SQL
- 102. HiveAnálisis de datosDatos estructuradosQuery Language (à la SQL)No es un sistema Real Time
- 104. HBaseBase de DatosDistribuidaOrientada a columnasBasada en BigTable
- 105. ContenidosIntroducción a HadoopMapReduceHadoopDistributed File SystemMapReduce + HDFSSubproyectosDemo
- 106. Demo
- 108. LibrosHadoop: TheDefinitiveGuideTom White – O’Reilly (Julio 2009)http://oreilly.com/catalog/9780596521998/Hadoop in ActionChuck Lam y James Warren –Manning (Octubre 2009)http://www.manning.com/lam/Pro HadoopJason Venner–Apress (No publicado)http://www.apress.com/book/view/1430219424
- 109. Preguntas?
- 110. Créditos imágenesDeadlock – Unknown Licensevia reddit: http://www.reddit.com/r/programming/comments/65pcg/deadlock_traffic_version_pic