淺談 Kubernetes於大數據生態系的相關開發近況
3 likes906 views
本文介绍了 Kubernetes 大数据特别兴趣小组（SIG）的现状及其在大数据生态系统中的整合情况，尤其关注于如何在 Kubernetes 上有效部署大数据应用。同时，作者分享了参与 SIG 的经验和学习，强调了跨领域合作的重要性。本资料涵盖了多种 Apache 大数据项目，并提供了相关的参考链接和讨论平台。
淺談 Kubernetes於大數據生態系的相關開發近況
- 1. 淺談 Kubernetes 於 大數據生態系的相關開發近況 Introduction to Kubernetes Big Data Special Interest Group (SIG) Jazz Yao-Tsung Wang Initiator of Taiwan Data Engineering Association Co-Founder of Taiwan Hadoop User Group Shared at 2017-09-21 Kubernetes 開源容器技術論壇
- 2. Hello! I am Jazz Wang Co-Founder of Hadoop.TW Initiator of Taiwan Data Engineering Association (TDEA) Hadoop Evangelist since 2008. Open Source Promoter. System Admin (Ops). - PAST - 11 years as a researcher in HPC field. - 2 years (2014/03 ~ 2016/04) Former Assistant Vice President (AVP), Product Management You can find me at @jazzwang_tw or https://fb.com/groups/hadoop.tw , http://forum.hadoop.tw 2
- 3. 1. 前情提要 我是 K8S 初學者 只是一個 K8S Big Data SIG 觀察者 I’m a newbie to kubernetes. I’m just an observer of K8S Big Data SIG. 3
- 4. ▷ 眾多 Kubernetes community 其中一個 SIG ○ https://github.com/kubernetes/community ○ Kubernetes 社群的相關 SIG 完整清單 ○ https://github.com/kubernetes/community/blob/master/sig-list.md 關於 K8S Big Data SIG (1) 4
- 5. 關於 K8S Big Data SIG (2) 5 ▷ 目前的 SIG Leads ○ Anirudh Ramanathan, Google ○ Erik Erlandson, Red Hat (2017/8/24 剛上任) ▷ 每週線上討論時間： ○ 每週三 17:00 UTC = 每週四凌晨 01:00 GMT+8 (台灣時間) ▷ Slack 討論區 ○ https://kubernetes.slack.com/messages/sig-big-data ○ 申請加入：http://slack.k8s.io/ ▷ Google Group Mail List 郵件討論區： ○ https://groups.google.com/forum/#!forum/kubernetes-sig-big-data 這也是為什麼我初期只能當個觀察者～ 年輕學子歡迎跳坑參加國際高手的討論
- 6. 關於 K8S Big Data SIG (3) 6 ▷ 線上討論方式：Zoom 視訊/語音 ○ 加入方式：https://zoom.us/my/sig.big.data ○ 每週討論 45 分鐘 ~ 1 小時不等 ▷ 歷史會議紀錄： ○ 2017/01~Now - http://goo.gl/x5YXYS ○ 2015/10~2016/01 - https://goo.gl/TyBB7r ▷ 歷史討論錄影： ○ 藏在會議記錄中 ○ 如：2017 九月 7 日的錄影 - https://youtu.be/zYAyx-Wawjk 裡面有蠻多實作細節的討論 像是在哪裡卡關，什麼元件不相容
- 7. 關於 K8S Big Data SIG (4) 7 ▷ 一些從 Github commit 觀察(挖)到的 SIG 歷史 ○ 最早可以追溯到 2016-05-12 15:19 Aaron Crickenberger 提出第一次編輯 ○ 2016-06-17 10:39 sarahnovotny 說 THE BIG DATA SIG IS INDEFINITELY SUSPENDED, IN FAVOR OF THE "APPS" SIG ○ 2017-01-30 12:35 Anirudh Ramanathan 才又重新開啟 Big Data SIG ○ 因此歷史會議記錄是 2017 年才比較活躍一點（目前有 74 頁）
- 8. 關於 K8S Big Data SIG (5) 8 ▷ Big Data SIG 的研究範疇 Covers deploying and operating big data applications (Spark, Kafka, Hadoop, Flink, Storm, etc) on Kubernetes. We focus on integrations with big data applications and architecting the best ways to run them on Kubernetes. ▷ Big Data SIG 的目標 ○ 設計相關架構，讓大數據應用可以有效率地運行於 K8S 上 Design and architect ways to run big data applications effectively on Kubernetes ○ 討論進行中的實作細節 Discuss ongoing implementation efforts ○ 討論資源共享與多租戶的大數據應用 Discuss resource sharing and multi-tenancy (in the context of big data applications) ○ 建議 K8S 開發有真實需求的新功能 Suggest Kubernetes features where we see a need
- 9. 2. 大數據生態系整合現況 Ongoing Big Data Ecosystem Integration with Kubernetes 9
- 10. ASF 目前共有 38 個大數據生態系專案 https://projects.apache.org/projects.html?category#big-data 10
- 11. 統計方法 ▷ 在 K8S Big Data SIG 會議記錄搜尋 38 個專案名稱當關鍵字 ▷ Google 搜尋 38 個專案名稱 + K8S 當關鍵字 11
- 12. Apache Big Data Ecosystem 整合近況一覽表 12 以下是 SIG 會議記錄中查得到的 Apache Big Data Project 專案 子專案 參考連結 Apache Hadoop HDFS - Data Locality Doc - https://goo.gl/zZNzwH - https://github.com/apache-spark-on-k8s/kubernetes-HDFS - https://youtu.be/DxCDxi08HWo @ Spark Summit 2017 Apache Spark Spark Core - Design Proposal - https://goo.gl/ppY28R / https://goo.gl/nyJRWi - Dynamic Allocation Proposal - https://goo.gl/QhsRaF - SPARK-18278 / Kubernetes Issue #34377 - https://github.com/apache-spark-on-k8s/spark - https://youtu.be/0xRHONrWwvU @ Spark Summit 2017 Apache Zepplin - 搭著 Spark 順風車 https://github.com/kubernetes/kubernetes/tree/master/examples/spark Apache Storm https://github.com/kubernetes/kubernetes/tree/master/examples/storm Apache Cassandra - https://kubernetes.io/docs/tutorials/stateful-application/cassandra/ - https://github.com/kubernetes/examples/tree/master/cassandra Apache Kafka - https://github.com/kubernetes/contrib/tree/master/statefulsets/kafka Apache Airflow - Roadmap - https://goo.gl/BpM4jq 成 熟
- 13. Apache Big Data Ecosystem 整合近況一覽表 13 以下是 Google Apache Big Data Project + K8S 找到的 專案 子專案 參考連結 Apache Hadoop YARN YARN、Mesos、K8S 的定位很接近，目前看到 YARN on K8S 的實作 - https://github.com/Comcast/kube-yarn Docker & Kubernetes on Apache Hadoop YARN https://hortonworks.com/blog/docker-kubernetes-apache-hadoop-yarn/ Apache Ambari - https://github.com/davidstack/docker-ambari Apache Beam - https://github.com/apache/beam/tree/master/.test-infra/kubernetes Apache Bookkeeper - http://bookkeeper.apache.org/docs/latest/deployment/kubernetes/ - Bookkeeper issue #337 - https://github.com/fcuny/distributedlog-on-k8s/blob/master/bookkeeper.statefulset.yaml Apache CouchDB CouchDB 2.0 in Kubernetes - https://gist.github.com/kocolosk/d4bed1a993c0c506b1e58274352b30df Apache Drill https://hub.docker.com/r/jowanza/apache-drill/ https://josep2.github.io/Jathena/
- 14. 以下是 Google Apache Big Data Project + K8S 找到的 專案 參考連結 Apache Flink - https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/kubernetes.html - https://github.com/docker-flink/examples - 官方有 docker image https://hub.docker.com/_/flink/ - FLINK-5966 / kubernetes issues #15817 Apache Flume 在 kubernetes 上使用 Flume TAILDIR 收集日誌到 HDFS 上 - https://ieevee.com/tech/2017/05/11/flume.html Apache Ignite Kubernetes and Apache® Ignite™ Deployment on AWS - https://www.gridgain.com/resources/blog/kubernetes-and-apacher-ignitetm-deployment-aws - https://github.com/vishnudxb/kube-ignite Apache Kafka https://github.com/kubernetes/charts/tree/master/incubator/kafka Apache Big Data Ecosystem 整合近況一覽表 14
- 15. Spark + Zeppelin on Kubernetes 15 http://blog.kubernetes.io/2016/03/using-Spark-and-Zeppelin-to-process-Big-Data-on-Kubernetes.html
- 16. Spark on K8S 的相關說明文件 16 https://apache-spark-on-k8s.github.io/userdocs/
- 17. Spark 2.2 已將 K8S 列為實驗叢集管理 17 http://spark.apache.org/docs/latest/cluster-overview.html
- 18. 剛好 9/20 有一場 HDFS on K8S 的演講 18 https://www.brighttalk.com/webcast/13073/279115
- 19. < 插播 > 工商服務時間 台灣資料工程協會 Taiwan Data Engineering Association Let’s Play with Data Together !! 19
- 21. ▷ 台灣不該只是技術使用者（接收），更該晉級技術開發者（供給） ▷ We have 6 Apache Committer in Taiwan !! ○ 蔡東邦 - Apache Spark Committer ( 台大/成大物理 ) ○ 陳恩平 - Apache Mesos Committer ○ 葉祐欣 - Apache BigTop Committer ( 現任 BigTop Project Chair, 成大資管 ) ○ 莊偉赳 - Apache Hadoop Committer ( 交大 ) ○ 戴資力 - Apache Flink Committer ( 成大 ) ○ 蔡嘉平 - Apache HBase Committer ( 成大資工 ) 1st Apache Contributor Hackathon 21 第一屆 Apache Contributor 育成賽 https://goo.gl/6JBDzD
- 22. 3. 結語：從 SIG 學到的事情 Lessons Learned from K8S Big Data SIG 22
- 23. 結語：我從 SIG 學到的事情 23 ▷ 台灣要國際化，K8S SIG 提供跨時區協同作業的良好範例 ○ Zoom 視訊 / Slack / Google Docs 會議記錄 / YouTube 錄影 / Github 版控 ▷ 建議多參與國際自由軟體的 SIG 可以擴展自己的視野 ○ 跟 Google, Redhat 等大型軟體公司的程式高手交手的機會 ○ 看 Apache Software Foundation 的 JIRA 跟 Github 的 Issue 學習軟體工程 / CI/CD 的 Best Practice ▷ 進化論： ○ 使用者 -> 參與 SIG 的開發討論 -> 成為開發者