淘宝Hadoop数据分析实践
Download as PPTX, PDF37 likes3,662 views
文档介绍了淘宝在数据分析中使用Hadoop的实践，包括其选择历程、架构及系统优化措施。当前总体数据存储达27.79PB，日常处理多个任务，并进行多项技术改造以提升数据处理效率。总结了集群优化、存储压缩及任务调度等方面的改进，强调了系统的使用效能与技术进步。
淘宝Hadoop数据分析实践
- 3. 淘宝数据分析选型历程webalizer awstat 般若 & OracleAtpanel & Oracle RAC 日志最高达250GB/天最高达约50道作业每天运行20小时以上Oracle RAC集群最多20个节点HadoopHive
- 4. Hadoop是什么
- 5. 目前架构天网调度系统Oracle 备库爬虫数据MySQL备库日志系统TimeTunnelDataExchangeDataSyncGateway ServersHadoop Cluster:云梯1Map Reduce Java JobsStreaming JobsHive Jobs数据平台搜索支付宝B2B云梯2口碑广告BI数据魔方量子统计淘数据推荐系统搜索排行…
- 6. 规模总容量27.79PB, 利用率51.06%总共1600+台机器约6.6千万个文件每台机器12 TB/24TB约40000道作业/天扫描数据约1.7PB/天产生数据约255 TB/天用户数820人, 用户组67个
- 10. Log4j配置及使用优化
- 11. MapReduce模拟器NameNode优化NFS配置Synchronized锁换读写锁RPC reader多线程为提速作业提交, 引入新的RPC乐观锁吞吐量提升20+倍, OPS达4w重启提速, 启动时间约为原来的1/3NNThroughputBechmarkMixedHDFS模拟器
- 12. 存储优化极限存储采用增量存储表数据建立聚簇索引定位某天/某段时间内的快照压缩核心表在云梯的存储空间, 平均比率1/30已经节省3PB空间压缩历史数据采用BZip2压缩已经开发LZMA2压缩, 等待上线Hadoop RAID源于Facebook的版本, 添加Placement Mover正在上线, 预计可再节省3PB空间
- 13. 小作业优化避免JobClient/TaskTracker上传、下载相同文件Reduce 数目自适应Hadoop Job HooksCRC32小作业优化Shuffle线程sleep 5秒OOB heartbeatsetup/cleanup task消除LocalJobRunner
- 15. Thank you!Q&A