Hdfs introduction

HDFS 原理与实现刘景龙 [email_address]

为什么选择 Hadoop ? Need to process huge datasets on large clusters of computers Very expensive to build reliability into each application. Nodes fail every day f ailure is expected, rather than exceptional. The number of nodes in a cluster is not constant. Need common infrastructure Efficient, reliable, easy to use Open Source, Apache License

百度 hadoop 集群现状 Hadoop 集群规模 1w+ 台节点日平均处理数据为 8PB 左右最大的 hadoop 集群规模： 2800 台

百度如何使用 hadoop 半线上 / 线下日志挖掘网页相关的线下大规模挖掘计算，包括 linkbase 的数据运算，索引库构建，网页库上的各种挖掘计算大规模机器学习算法

HDFS 能做什么？存储并管理 PB 级数据自动处理节点失效和负载均衡针对高吞吐进行优化数据本地化机架感知

HDFS 不适合做什么？存储小文件 ( 不建议使用 ) 大量的随机读 ( 不建议使用 ) 需要对文件的修改 ( 不支持 )

HDFS 架构： Namenode Namespace Metadata & Journal Namespace Block Map Datanodes Block ID  Data Horizontally Scale IO and Storage file  Block id b1 b2 b3 b1 b5 b3 b3 b5 b2 b4 b5 b6 b2 b3 b4 Heartbeats & Block Reports Block ID  Block Locations

HDFS ： namenode 数据结构

HDFS ：读写流程 Client Client Namenode 1 open 2 read 2 write 1 create write write Datanodes Namespace State Block Map End-to-end checksum b1 b2 b3 b1 b5 b3 b3 b5 b2 b4 b5 b6 b2 b3 b4

HDFS ：副本分布当前策略：客户端从最近的副本进行读取

HDFS ：容错 Namenode Datanodes Bad/lost block replica Periodically check block checksums Namespace State Block Map b1 b2 b3 b1 b5 b3 b3 b5 b2 b4 b5 b6 b2 b3 b4 2. copy 3. blockReceived 1. replicate

HDFS ：数据本地化 Data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Data data data data data Results Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Data data data data Hadoop Cluster Block 1 Block 1 Block 2 Block 2 Block 2 Block 1 MAP MAP MAP Reduce Block 3 Block 3 Block 3

HDFS ：接口命令行 C++ 接口 Java 接口 POSIX 接口 Restful 接口

HDFS 在路上 HDFS Peta1.0 Peta2.0

可扩展性 Namenode 水平扩展通过加机器解决文件数增加的问题垂直扩展内存存储热数据，冷数据磁盘存储

可扩展性：文件数 10 亿节点数 1 万性能提高 10 倍

可用性：元数据结构持久化元数据操作日志（ edit log ）记录文件创建，删除，修改文件属性等操作 Fsimage 包含完整的命名空间 File -> Block 的映射关系文件的属性（ ACL, quota, 修改时间等）非持久化元数据 block map Block -> datanodes

可用性： Fail over 时间最长不超过 5 分钟集群的在线升级

未来的工作方向用户透明压缩存储资源隔离实时性支持百亿文件系统。。。

求助热线：邮件组： [email_address] Hi 群： 1199411 文档园地： http://wiki.babel.baidu.com/twiki/bin/view/Com/Inf/Peta%E6%96%87%E6%A1%A3%E5%BB%BA%E8%AE%BE%E8%AE%A1%E5%88%92

Hdfs introduction

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to Hdfs introduction (20)

More from baggioss (6)

Hdfs introduction

Editor's Notes