![起動が速い
•
1秒以内で立ち上がる
•
仕組み
•
Spark avoids this problem by using a fast event-driven RPC library
to launch tasks and by reusing its worker processes. It can launch
thousands of tasks per second with only about 5 ms of over- head
per task, making task lengths of 50–100 ms and MapReduce jobs
of 500 ms viable. What surprised us is how much this affected
query performance, even in large (multi-minute) queries[2].
•
意訳: 実装がんばったら，5msec で 1タスク立ち上がるように
なったよ
•
Tuesday, October 22, 13
[2]Shark: SQL and Rich Analytics at Scale](https://image.slidesharecdn.com/sparkshark-131028074613-phpapp02/85/Spark-shark-24-320.jpg)
![もうちょっと詳しく
•
[2]Shark: SQL and Rich Analytics at Scale
Tuesday, October 22, 13](https://image.slidesharecdn.com/sparkshark-131028074613-phpapp02/85/Spark-shark-33-320.jpg)
Spark shark
- 2. ? Tuesday, October 22, 13
- 3. ? Tuesday, October 22, 13
- 4. Tuesday, October 22, 13
- 5. Tuesday, October 22, 13
- 6. おまえだれよ？ Tsuyoshi Ozawa @oza_x86 OSS developer Apache Hadoop の開発をしてます github : oza ←の22章を書いたよ！ Tuesday, October 22, 13
- 7. アジェンダ • Hadoop/MapReduce の復習 • Spark の概要 • Shark の概要 Tuesday, October 22, 13
- 8. • 分散処理基盤 • • たくさんの計算機を使って高速に処理 Open Source! Hadoop の構成 MapReduce 処理部 HDFS Tuesday, October 22, 13 1台辺りの構成 データ 保存部
- 10. MapReduce 概要 並列処理 集約処理 map reduce HDFS map HDFS reduce map 入力 読み込み Tuesday, October 22, 13 Shuffle 処理結果 書き込み
- 11. ところで... • HDFS ためたデータに対して， 機械学習を行い， 高度な解析を行うということが 色々な場所で行われている • Mahout (Hadoop 上のライブラリ) • Jubatus (オンライン学習基盤) Tuesday, October 22, 13
- 12. MapReduce の問題点 • • 機械学習のような繰り返し処理を行うようなものでは，性能が出ない なぜ？ • リソース割り当てに起因する問題 • • プログラムの起動に 15 sec 程度かかる ディスク書き込みに起因する問題 • • HDFS への書き込みオーバヘッドが大きいため Shuffle でローカルディスクに書き出すため Spark の出番 Tuesday, October 22, 13
- 13. Spark とは? • 繰り返し処理を高速化するために HDFS に 特殊なキャッシュを乗っけた • 機械学習を書くために DSL を提供 • • • • Map/Reduce 以外にも色々と API が定義 されている DSL は勝手に分散処理される 実装をがんばっているため，起動に15secもかからない Apache Incubator • • Tuesday, October 22, 13 http://spark-project.org/ Scala で 20k
- 14. なぜキャッシュ? 並列処理 集約処理 map reduce HDFS map HDFS reduce map 入力 読み込み Tuesday, October 22, 13 Shuffle 処理結果 書き込み
- 15. なぜキャッシュ? 並列処理 集約処理 map reduce HDFS map HDFS reduce map 入力 読み込み Tuesday, October 22, 13 処理結果 書き込み
- 16. なぜ特殊なキャッシュ? • キャッシュは揮発性 →プロセスが落ちたら，再構築が必要 • 全体の処理をやり直す羽目に... Tuesday, October 22, 13
- 17. 100回の繰り返し処理を 考える 並列処理 集約処理 map reduce HDFS 99回 目 map reduce map Tuesday, October 22, 13 99回 目の 結果 HDFS
- 18. 100回の繰り返し処理を 考える 並列処理 集約処理 reduce HDFS 99回 目 map reduce map Tuesday, October 22, 13 99回 目の 結果 HDFS
- 19. 100回の繰り返し処理を 考える 並列処理 集約処理 reduce HDFS 99回 目 map reduce map キャッシュが壊 れる Tuesday, October 22, 13 99回 目の 結果 HDFS
- 20. 100回の繰り返し処理を 考える 並列処理 集約処理 map reduce map HDFS 99回 目 Tuesday, October 22, 13 reduce map 99回 目の 結果 HDFS
- 21. 100回の繰り返し処理を 考える 並列処理 集約処理 map reduce map HDFS 99回 目 reduce map 読み直して やり直し！！ Tuesday, October 22, 13 99回 目の 結果 HDFS
- 22. 特殊なキャッシュ • Resillient Distributed Datasets • チェックポイントから処理の依存関係を見 て最小限で復帰する仕組み • ナイーブにキャッシュすると性能が出ない ので Java のオブジェクトをそのまま保存 • https://www.usenix.org/system/files/ conference/nsdi12/nsdi12final138.pdf Tuesday, October 22, 13
- 23. DSL file = spark.textFile("hdfs://...") file.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) • http://spark-project.org/examples/ Tuesday, October 22, 13
- 24. 起動が速い • 1秒以内で立ち上がる • 仕組み • Spark avoids this problem by using a fast event-driven RPC library to launch tasks and by reusing its worker processes. It can launch thousands of tasks per second with only about 5 ms of over- head per task, making task lengths of 50–100 ms and MapReduce jobs of 500 ms viable. What surprised us is how much this affected query performance, even in large (multi-minute) queries[2]. • 意訳: 実装がんばったら，5msec で 1タスク立ち上がるように なったよ • Tuesday, October 22, 13 [2]Shark: SQL and Rich Analytics at Scale
- 25. Spark と MapReduce の比較 • Hadoop/MapReduce • ユーザは Map/Reduce という関数を 書く • チェックポイントは 勝手にとってくれる • Spark • ユーザは DSL を書く • チェックポイントは自分で取る 起動は1sec以内 お気軽に色々書ける...?? • 起動に15secくらいかかる • • お気軽に色々書ける • MapReduce HDFS Tuesday, October 22, 13 Spark (Spark の中にキャッシュ！！) HDFS
- 26. ベンチマーク結果 • 結構速い • https:// www.usenix.org/ system/files/ conference/ nsdi12/nsdi12final138.pdf Tuesday, October 22, 13
- 27. ? Tuesday, October 22, 13
- 28. ? Tuesday, October 22, 13
- 29. Apache Hive SQL っぽいものを書くと MapReduce プログラムにコンパイル Tuesday, October 22, 13
- 30. Spark DSL...? • 集計の度に file = spark.textFile("hdfs://...") • 厳しいのでは...? file.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) Shark の出番 Tuesday, October 22, 13
- 31. Shark とは? • Spark 上で SQL はじめました CREATE TABLE logs_last_month_cached AS SELECT * FROM logs WHERE time > date(...); SELECT page, count(*) c FROM logs_last_month_cached GROUP BY page ORDER BY c DESC LIMIT 10; Shark(SQL) Spark HDFS Tuesday, October 22, 13
- 32. Shark のポイント • SQL を Spark の DSL にコンパイル • Apache Hive の Spark 版(フォーク) • 性能が出るようにキャッシュをうまく管理 • ストレージフォーマットを工夫 • キャッシュの置き場所を工夫 • Spark との親和性を重視 Tuesday, October 22, 13
- 33. もうちょっと詳しく • [2]Shark: SQL and Rich Analytics at Scale Tuesday, October 22, 13
- 34. Shark のベンチマーク selection query: SELECT pageURL, pageRank FROM rankings WHERE pageRank > X; 同条件のシンプルなクエリで速い理由 Spark の起動時間が高速 タスク割り当てが高速 Tuesday, October 22, 13
- 35. まとめ • 機械学習用の処理基盤 Spark • • 繰り返し処理にて Hadoop の最大100倍高速 Spark のSQLインタフェース Shark • • Tuesday, October 22, 13 キャッシュの速さと足回りの速さ， クエリの最適化により Hive の数倍高速 select のような基本的なクエリで Hive よりも高速に動作