Use Alluxio to Unify Storage Systems in Suning
0 likes1,554 views
本文档讨论了Alluxio作为分布式存储系统的统一入口，分析了苏宁在使用HDFS时遇到的问题及其多HDFS集群解决方案。提出了利用Alluxio Proxy优化HDFS集群的管理和性能，以及在实际应用中面临的挑战和解决方法。最终，Alluxio Proxy被规划为更大规模的分布式系统存储解决方案。
Use Alluxio to Unify Storage Systems in Suning
- 2. 概要 • HDFS在苏宁的使用和存在的问题； • 多HDFS集群的解决方案； • Alluxio Porxy分布式存储系统的统一入口的 实现； • Alluxio在苏宁的未来； • Q&A；
- 4. HDFS在苏宁的使用 集群1 • 528 datanodes * 40TB/ node • DFS Used: – 1.3PB – 1.3亿的文件和目录 – 1.3亿的块 集群2 • 100 datanodes * 40TB/ node • DFS Used: – 1PB – 5千万的文件和目录； – 5千万的块 其他：为Hbase搭建的HDFS集群
- 5. 单一的HDFS集群存在的问题 • HDFS namenode在高并发的情况下的RPC延迟很高； – Client cloud not complete file，从而导致任务失败； – Datanode Last contact时间较长，在namenode重启的时候较为明显； 在高并发的情况下，HDFS 的水平扩展能力不足。
- 6. 多HDFS集群的解决方案 • 将HDFS的集群进行拆分；需要考虑的问题有： – 底层的多HDFS集群对用户透明； – 跨集群的数据访问； – 集群切分的维度； • HDFS社区的解决方案： – Federation + viewFs – HDFS Router • 苏宁的解决方案： – Alluxio Proxy： 利用Alluxio的UnifiedNameSpace功能，选取Alluxio作为多HDFS集群 或者其他存储集群的统一入口；
- 9. 使用Alluxio遇到的问题 • 多HDFS集群的Metadata都会进入到Alluxio Master中， Alluxio Master会遇到内存的瓶颈； – 通过测试，相比于HDFS，Alluxio的Metadata消耗的内存 为HDFS的一倍； • Alluxio Client和Master的连接是长连接 • Alluxio不支持Append操作； • Client的兼容性问题；
- 15. Client端兼容性 • 在实际使用中，Alluxio Proxy在Client以 plugin的形式提供服务，整个过程中对用户 是无感知的； • 由于是部署在client，所以和相关组件的依 赖兼容，从而导致任务失败； • 解决办法：将Alluxio runtime相关的jar包全 部shaded；
- 16. Alluxio Proxy总结 • 利用Alluxio的Unified Namespace功能实现多HDFS集 群的统一入口； – MountTable在Alluxio Master端保存，便于运维和管理； – Alluxio的Master具有HA机制； • 在路由的功能之上，对热数据进行缓存，从而对计 算进行加速； • 将临时的，不需要落地的数据直接放在Alluxio的内 存中，从而减少namenode的元数据的频繁的增加和 删除；
- 17. Alluxio Proxy在苏宁的使用 Alluxio 集群的规模 • 2 masters + 3 workers • Alluxio当前只用于多HDFS 集群的路由功能； • 按照用户对HDFS集群进行 切分； 集成的组件 • Hadoop(HDFS + YARN) • Hive • Spark • Flink • Druid • Sqoop • Hbase • Flume • OLAP
- 19. Q&A
- 20. Thanks