データ分析基盤として Rancher・k8s で始まるのか調査してみた
0 likes1,213 views
Rancher Meetup #06 in Osaka LT資料 #rancherjp
![計算リソース方面の流れ
Spark v2.3.0からk8sをNativeサポート！
k8sがあれば、YARN無くてもk8sがお世話してくれる。
• Apache Spark on Kubernetesの検証 – Qiita
• HDFS on Kubernetesの検証 – Qiita
※一時領域としてHDFSも必要になるので、テンポラリとして割り切って利用
さらにv2.4では以下も対応
Kubernetes Scheduler Backend
• [SPARK-23984] PySpark bindings for K8S
• [SPARK-24433] R bindings for K8S
• [SPARK-23146] Support client mode for Kubernetes cluster backend
• [SPARK-23529] Support for mounting K8S volumes](https://image.slidesharecdn.com/20190118ranchermeetuposaka06-190118160301/85/Rancher-k8s-7-320.jpg)
データ分析基盤として Rancher・k8s で始まるのか調査してみた
- 1. データ分析基盤として Rancher ・k8sで始まるのか調査してみた Rancher Meetup #06 in Osaka やっさん @yassan168
- 3. おさらい。
- 4. データ分析基盤の対象領域ってなんだっけ？ • Data Lake（Scheme On Read） • HDFS • Data Warehouse（Scheme On Write） • Hive、Presto • BIツール • Redash、SuperSet、Metabase • ETL処理向けツール • DigDag、Kuroko2、Luigi、AirFlow • Flume、Sqoop • Embulk、Fluentd、Kafka • Spark Streaming、NiFi、Flink ※今回は機械学習基盤は除外。kubeflow使うとか？
- 5. ログコレクタ方面 • Kafkaもk8sへの対応は進んでいるけど、、 • KubernetesでのKafkaクラスタの管理と運用 • Apache Kafka on Kubernetes – Could You? Should You? | Confluent • Fluentdもk8sふくめコンテナでは割とよく聞く話 • Kubernetes Logging with Fluentd | Fluentd
- 6. データストア方面の流れ Hadoopのストレージオプションにパブリッククラウド対応する流れが増 えた • Cloud Dataproc FAQ | Cloud Dataproc ドキュメント | Google Cloud • Hadoopエコシステムのデータストア振り返り • Apache Hadoopの新機能Ozoneの現状 ※Ozone：S3の様なオブジェクトストレージをHadoop上で実現する • Cloudera in the Cloud #CWT2017 ただ、まだ、HDFSをk8sで本番利用するのは厳しい cf. kubernetes-HDFS/README.md at master · apache-spark-on-k8s/kubernetes-HDFS
- 7. 計算リソース方面の流れ Spark v2.3.0からk8sをNativeサポート！ k8sがあれば、YARN無くてもk8sがお世話してくれる。 • Apache Spark on Kubernetesの検証 – Qiita • HDFS on Kubernetesの検証 – Qiita ※一時領域としてHDFSも必要になるので、テンポラリとして割り切って利用 さらにv2.4では以下も対応 Kubernetes Scheduler Backend • [SPARK-23984] PySpark bindings for K8S • [SPARK-24433] R bindings for K8S • [SPARK-23146] Support client mode for Kubernetes cluster backend • [SPARK-23529] Support for mounting K8S volumes
- 8. ETLの要。ワークフロー方面について • Airflow が k8s Executer に対応している Kubernetes Executor — Airflow Documentation • CNCFにある Argo Workflows がk8sを前提としていて面白そう （CI/CDもあり） Kubernetesユーザーは待っていた!?コンテナネイティブなワークフローエンジンArgoを試してみた
- 9. 今後参考になりそうなもの • kubernetes/community にて各トピックでSIGが存在。 ミーティング議事録とかも残ってるので読むと面白い。 • Big Data Special Interest Group community/sig-big-data at master · kubernetes/community • Storage Special Interest Group community/sig-storage at master · kubernetes/community
- 10. ここはRancher Meetupですが？ • RancherにもHadoopのチャートは存在するが使えるかは不明 charts/charts/hadoop/v1.0.7 at master · rancher/charts 現状のデータ分析基盤としてのRancherの出番とは。。。 • 複数のデータ分析基盤の上げ下げとかかも。 → 必要なときだけ構築して、出来たものをDWHやDataMartなどに放り 込むとか。 • BIとかのツールをチャート化して簡単にデプロイ出来るようにすると か？