Hadoop Distributed File System (HDFS) pt2.pptx

"HADOOP DISTRIBUTED FILE SYSTEM (HDFS)"
"Almacenamiento escalable para Big Data“
Parte 2.
Ing. Frank Tarra
Especialización en Big Data y Visual Analytics
Universidad Internacional de la Rioja UNIR

NAMENODE SECUNDARIO
• Función:
• Crea checkpoints periódicos del estado del Namenode.
• No es un reemplazo en caliente (requiere intervención manual).
• Diferencia con HA:
• El secundario no está en standby (solo para backups).

FEDERACIÓN DE NAMENODES
• Objetivo: Escalar horizontalmente el Namespace.
• Múltiples Namenodes:
• Cada uno gestiona una parte del árbol de directorios (ej. /user, /share).
• Beneficios:
• Mayor capacidad de metadatos.
• Aislamiento de fallos.

COMANDOS BÁSICOS DE HDFS
• Estructura: hdfs dfs [opciones] <comando>.
• Ejemplos clave:
• hdfs dfs -ls /: Listar raíz de HDFS.
• hdfs dfs -mkdir /data: Crear directorio.
• hdfs dfs -copyFromLocal local.txt /data/: Copiar archivo local a HDFS.
• hdfs dfs -cat /data/archivo.txt: Mostrar contenido.
• Nota: No existe cd (siempre usar rutas absolutas).

EJEMPLO PRÁCTICO
• Escenario:
• Subir un CSV de 1 GB a HDFS y verificar bloques.
• Comandos:
• bash
• hdfs dfs -copyFromLocal dataset.csv /data/
• hdfs fsck /data/dataset.csv -blocks -files
• Salida: Mostrará el número de bloques y réplicas.

HDFS VS. SISTEMAS TRADICIONALES
Característica HDFS SistemaTradicional
Tamaño de archivo TB o PB Limitado por disco
Acceso Streaming (batch) Aleatorio (baja latencia)
Modificación No permitida Permitida
Hardware Commodity Especializado

LIMITACIONES DE HDFS.
• No adecuado para:
• Archivos pequeños: Ej: Millones de archivos de 1 KB.
• Modificaciones frecuentes: Ej: Bases de datos OLTP.
• Baja latencia: Ej: Consultas interactivas.
• Solución complementaria: Usar Apache HBase para acceso aleatorio.

SEGURIDAD EN HDFS
• Mecanismos:
• Permisos POSIX: chmod, chown.
• Kerberos: Autenticación en entornos empresariales.
• Ejemplo:
• bash
• hdfs dfs -chmod 750 /data/confidencial

CASO DE ÉXITO
• Yahoo!:
• Usó HDFS para almacenar 40 PB de datos en 2009.
• Clúster de +4,000 nodos.
• Lección:
• "HDFS escala linealmente: más nodos = más capacidad y rendimiento."

PREGUNTAS FRECUENTES
• ¿Puedo aumentar el tamaño de bloque?
• Sí, pero afecta al paralelismo (ej: Bloques de 256
MB).
• ¿Qué pasa si un Datanode falla?
• HDFS replica automáticamente los bloques perdidos.
• ¿Cómo monitoreo HDFS?
• Web UI del Namenode (puerto 9870).
• Diapositiva 20: Conclusiones
• Fortalezas:
• Escalabilidad masiva.
• Tolerancia a fallos.
• Coste reducido (hardware commodity).
• Desafíos:
• SPOF (Namenode), aunque mitigado con
HA.
• No es para todos los casos de uso.

BIBLIOGRAFÍA
• Dean, J. y Ghemawat, S. (2008). MapReduce: simplified data processing on large clusters. Communications of the ACM,
51(1), 107-113. https://doi.org/10.1145/1327452.1327492
• Ghemawat, S., Gobioff, H. y Leung, S.-T. (2003). The Google File System. ACM SIGOPS Operating Systems Review,
37(5), 29-43. https://doi.org/10.1145/1165389.945450
• White, T. (2015). Hadoop: the definitive guide (4ª ed.). O’Reilly.
• Apache Software Foundation. (2013, 21 de febrero). Apache Hadoop logo [Imagen].
https://svn.apache.org/repos/asf/hadoop/logos/out_rgb/
• Escuela Superior de Informática. (s.f.). Arquitectura de Hadoop [Imagen]. https://www.cnac.es/noticias/que-es-hadoop/
• Medrano, A. (s.f.). Inteligencia Artificial y Big Data: Proceso de lectura HDFS [Imagen].
https://aitor-medrano.github.io/bigdata2122/apuntes/bdaplicado02hdfs.html#funcionamiento-de-hdfs

Hadoop Distributed File System (HDFS) pt2.pptx

Más contenido relacionado

Similar a Hadoop Distributed File System (HDFS) pt2.pptx (20)

Último (20)

Hadoop Distributed File System (HDFS) pt2.pptx

Notas del editor