Hdfs
Download as PPTX, PDF2 likes566 views
本文介绍了HDFS的基本原理和使用，包括其架构、接口和内部结构。HDFS优化了批处理，适用于大文件和流数据，但不适合小文件或随机读取场景。文档还涉及了HDFS的使用案例和节点角色，包括NameNode和DataNode的功能。
Hdfs
- 1. HDFS 原理及使用介绍 江宇
- 2. HDFS • HDFS 简介 • HDFS 架构 • HDFS 使用 • Use case • HDFS内部结构 • Q&A及其它
- 3. HDFS 简介
- 4. HDFS 简介
- 5. HDFS 简介 • 开源的GFS的部分实现 • Master/slave 架构 • 部署在低廉的计算机集群中 • 高容错性 • Semi-POSIX • Unix-like permission， ugi • 对Batch处理的优化，不适用于low latency • 新浪的版本0.20.203, 1.0.2(scribe接收)
- 6. HDFS 简介 • Streaming data access • Batch processing rather than ineractive user access • Write once, read many times • Large files • 适用场景：日志挖掘，大规模机器学习， 爬虫建立索引
- 7. HDFS 简介 • HDFS不适用的场景 ---存储小文件 ---大量的随机读 ---需要对文件进行修改(不支持)
- 8. HDFS 架构
- 9. HDFS 架构
- 10. HDFS 使用接口 • Shell 命令:hadoop fs –cmd cat chgrp chmod chown copyFromLocal copyToLocal cp du, dus expunge get getmerge ls, lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz
- 11. HDFS 使用接口 • Thrift 接口 ：可扩展的，跨语言的服务框架 – 启动Hadoop集群 – 启动thrift server ($HADOOP_HOME/src/contrib/thriftfs/scripts/ start_thrift_server.sh） – 将相应语言的gen-*拷贝至client – Client引用相应接口，关注于业务实现
- 12. HDFS 使用接口 • FUSE接口:Filesystem in Userspace 能够将用 户空间挂在到Linux上使用
- 13. HDFS 使用接口 • 其它HDFS接口 HTTP FTP
- 14. HDFS 使用接口 • 原生的JAVA 接口 write:
- 15. HDFS 使用接口 • Read
- 16. HDFS 使用接口 • 注意的问题 seek是一个耗时的操作，尽量顺序读 再用完后关闭输入输出流，加finally异常处 理 write支持append
- 17. Use Case • Map-reduce • 云存储 • Stream log (Scribe)
- 18. HDFS 内部结构 • INode:用来存放文件及目录的基本信息，包括名称， 父节点，修改时间，访问时间，ugi等 • INodeFile:继承自Inode，还包括文件对应的Block列 表，复制数等 • INodeDirectory:继承自Inode,还包括有Inode列表组成 的文件或目录树结构 • Block(BlockInof):文件物理存储的抽象，包括有 blockId，size以及时间戳等 • BlocksMap:保存block到Inode和DataNode的映射 • FSImage：保存文件系统的整个目录树 • FSEditlog：操作日志
- 19. NameNode 作用 • 负责 NameSpace ,两大主要内存结构 Inode,BlockMap • Inode map file blocks (固化FSImage) • BlocksMap map blocksDatanode(每次集群 启动汇报) • 所有的元数据都在内存中
- 20. NameNode 作用 • 元数据包含: ---List of files ---List of Blocks for each file ---List of DataNodes for each block ---File attributes, e.g creation time, replication factor ---namespace attributes, needed replication excess replication, under replication ---FSImage, FSEditlog
- 21. DataNode 作用 • DataNode作用 ---Block Server ,存储数据，存储meta-data 如CRC， blockId与底层物理存储的映射 ---与client rpc连接，传输或接收数据 ---与NameNode rpc连接，周期性的发送block report， 把所有的Blocks向namenode汇报（默认1小时) ---与NameNode rpc连接，heartbeat,从NameNode获取 cmd(默认3s) ---与其它DataNode建立pipeline
- 22. Block存放策略 • 目前的策略是 ---第一份副本放在本地node ---第二份副本放在不同机架的node上 ---第三份副本放在与第二个相同机架的不 同node上 ---多余三份副本任意 client读取最近node上的数据
- 23. 写流程
- 24. 写流程
- 25. 写流程
- 26. 写流程
- 27. 读流程
- 28. 其它
- 29. Q&A THANKS