Kmeans in-hadoop
Download as PPT, PDF0 likes1,541 views
该文档详细介绍了在Hadoop和Spark中实现k-means算法的过程，包括核心算法、数据生成和控制迭代的程序设计。在性能方面，采用了“in-mapper combining”技术使时间效率显著提高，处理大数据集的效率大幅提升。文档还提到与其他大数据分析框架的对比以及未来的计划和管理措施。
Kmeans in-hadoop
- 1. K-means in Hadoop K-means && Spark && Plan
- 2. Outline • K-means • Spark • Plan 2012-12-20 2
- 3. K-means in Hadoop • Programs： • Kmeans.py: k-means core algorithm • Wrapper.py: local control iterations of k-means • Generator.py: generate data in random of range • Graph.py: draw data 2012-12-20 3
- 4. Flowchart 2012-12-20 4
- 5. Kmeans.py • use “in-mapper combining” technology, for implementing combiner functionality within every map task. Notice, not combiner phase. • It makes a discrete Combine step between Map and Reduce unnecessary. Typically, it is not guaranteed that a combiner function will be called on every mapper or that ,if called , it will only be called once. • In-mapper combiner design patten, we will guarantee that combiner-like key aggregation occurs in every mapper, instead of optionally in some mappers. 2012-12-20 5
- 6. Kmeans.py • The aggregation is done entirely in the memory, without touching disk and it happens before any emission code has been called • But it can not assure “Memory Leak” issue. We should use python to control this condition. • Results (3.6G Test Dataset) • Old: 30+ min • Current: 9+ min， in reduce phase we only use 1~2 second. Saving significant time. 2012-12-20 6
- 8. Wrapper.py • Main controller for k-means iterations • Function： • Start mapper-reduce • Carry basic data and program with mapper phase • Verify whether it runs end. • Result: • Source： 13 clusters • Target： 10 cluster -> 180 + iterations • Target： 13 cluster -> 7-8 iterations 2012-12-20 8
- 9. Processing(13-clusters) • 110331.286264 -> 43648.070121 • 43648.070121 -> 22167.351291 • 22167.351291 -> 5853.008014 • 5853.008014 -> 552.292067 • 552.292067 -> 8.202320 • 8.202320 -> 0.000000 • 0.000000 -> 0.000000 2012-12-20 9
- 10. Spark • In-memory , high performance , use Scala • Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可 以优化迭代工作负载。 • Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合 对象一样轻松地操作分布式数据集。 • 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际 上它是对 Hadoop 的补充，可以在 Hadoo 文件系统中并行运行。 • Scala 是一种多范式语言，它以一种流畅的、让人感到舒服的方法支持与命 令式、函数式和面向对象的语言相关的语言特性。 2012-12-20 10
- 11. Spark • Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行 操作之间重用工作数据集（比如机器学习算法）的工作负载。 • Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓 存在内存中，以缩短访问延迟。 2012-12-20 11
- 12. 其他的大数据分析框架 • GraphLab ：侧重于机器学习算法的并行实现 • Storm： “实时处理的 Hadoop”，它主要侧重于流处理 和持续计算（流处理可以得出计算的结果）。Storm 是 用 Clojure 语言（Lisp 语言的一种方言）编写的，但它 支持用任何语言（比如 Ruby 和 Python）编写的应用程 序。 2012-12-20 12
- 13. Plan • 27 PCs run properly in Hadoop • Remote management : write some shell scripts, power saving, task submit from everyone etc. • Build Mesos, spark, ZooKeeper, Hbase in our platform. 2012-12-20 13
- 14. thanks 2012-12-20 14