15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
5 likes1,303 views
ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
- 1. ビッグデータ分析基盤Sparkの 最新動向とその活⽤用 -‐‑‒ Spark SUMMIT EAST 2015 – 2015年年3⽉月17⽇日〜～18⽇日 ⼤大⽊木 基⾄至 ohki@inulab.sys.es.osaka-‐‑‒u.ac.jp
- 2. Spark Summit EAST 2015 大木基至 2 01. Spark と カンファレンス概要 Spark とは？ • Sparkとは – 公式サイトでは、 ⇛Apache Sparkは⼤大規模データ処理理のための⾼高速で汎⽤用的なエンジン
- 3. Spark Summit EAST 2015 大木基至 3 Spark とは？ • Sparkとは – UC Berkeleyの研究組織「AMPLab.」で開発されたOSS – 開発の中⼼心企業は⽶米Databricks社 • ラボからIon Stoica⽒氏らがスピンアウトして設⽴立立したベンチャー企業 – 分散クラスタ型のデータ処理理エンジンで、インメモリでビッグデータ を並列列分散処理理する – ビッグデータの分散処理理としてはhadoopが有名であるが、ストレー ジベースの処理理⽅方式のため、あまり⾼高速ではない – 対してsparkはデータを⼀一旦メモリにキャッシュし、メモリ上で処理理 を⾏行行うため、繰り返し処理理ではとても⾼高速
- 4. Spark Summit EAST 2015 大木基至 4 Spark とは？ 開発履履歴 ⽇日付 Ver. 内容 2009年年 - UC Berkleyの研究組織「AMPLab.」にて開発開始 2010年年 - OSS化。その後Apacheソフトウェア財団にコードを寄贈 2012年年10⽉月 0.6.0 スタンドアロンモード、Java APIサポート 2013年年2⽉月 0.7.0 Python APIサポート、ストリーミングサポート 2013年年9⽉月 0.8.0 UIにジョブのダッシュボードが追加、Mlibサポート 2014年年2⽉月 0.9.0 Scala2.10サポート、GraphXサポート 2014年年5⽉月 1.0.0 Spark SQLサポート、Mlibのアルゴリズム充実 2014年年11⽉月 1.1.0 マイナーリリース 2014年年12⽉月 1.2.0 パフォーマンス改善、Spark StreamingのHAサポート 2015年年3⽉月 1.3.0 DataFrames APIサポート 2015年年4⽉月 1.3.1 メンテナンスリリース
- 5. Spark Summit EAST 2015 大木基至 5 Spark とは？ • Hadoopとの⽐比較ーレイヤスタック図 – 下回りの構成は同じ。 – MapReduceがSparkに置き換わったイメージ Spark HDFS MapReduce Spark SQL MlibHive Sqoop YARN Mesos SparkHadoop YARN：分散処理理フレームワーク。アプリケーションからのリソース要求のハンドリングやスケジューリングを⾏行行う Mesos：分散アプリケーション or フレームワークに対して、効率率率的なリソース分離離、共有を提供するクラスタ管理理ソフト … … HDFS YARN Mesos
- 6. Spark Summit EAST 2015 大木基至 6 Spark とは？ • Hadoopとの⽐比較ーデータ処理理の流流れ MapReduceはディスクベースで処理理 各ステージ（処理理の単位）処理理はオンメモリで実⾏行行 M Spark Hadoop R R R HDFS 処理理 読 読 読書 書 書 S S S HDFS 処理理 読 読 読書 書 書
- 7. Spark Summit EAST 2015 大木基至 7 Spark とは？ • Hadoopとの⽐比較 – 共通点 • ASF(Apache Software Foundation)のトップレベルPJ • 分散ファイルシステム（HDFS）からファイルをロード可能 • MapReduceプログラミングモデル • SQLのインタフェイスや機械学習等のライブラリが充実 – 相違点 • メモリ上にデータをキャシュして処理理可能 • Scala, Pythonのユーザインタフェイスでインタラクティブに操作可能
- 8. Spark Summit EAST 2015 大木基至 8 開催概要 • 開催⽇日：2015/03/18〜～2015/03/19（2⽇日間） – 3/18：午前：Keynote 午後：3 tracks（27 sessions） -‐‑‒ Developers, Applications, Data Science – 3/19：Workshop • 開催場所：The Sheraton, New York • 開催回数： – Spark Summit East としては初開催 – Spark Summit 2015 がサンフランシスコで2015年年7⽉月開 催予定 • これまで、Spark Summit 2013、2014がいずれもサンフランシ スコで
- 9. Spark Summit EAST 2015 大木基至 9 会場の雰囲気
- 10. Spark Summit EAST 2015 大木基至 10 Silver Sponsors Platinum Gold データウェアハウス系企業ももちろん多いが、 データサイエンス / データを所持した企業も多い
- 11. Spark Summit EAST 2015 大木基至 11 2014年年のSpark http://www.slideshare.net/databricks/new-directions-for-apache-spark-in-2015
- 12. Spark Summit EAST 2015 大木基至 12 2014年年のSpark Matei「データサイエンスの中で今最もアクティブなプロジェクトだ」 Contributors per Month to Spark http://www.slideshare.net/databricks/new-directions-for-apache-spark-in-2015
- 13. Spark Summit EAST 2015 大木基至 13 Spark Summit Keynote
- 14. Spark Summit EAST 2015 大木基至 14 2015年年の焦点は以下の２つ • 1. Data Science – データフレームをRDDで（2015年年3⽉月リリースのSpark 1.3から） – Machine Learning Pipelinesの開発も引き続き – R interfaceの充実（2015/6リリースのSpark 1.4でSparkR！） 所感：2015年年度度はデータサイエンス系の⼈人材を引き込もうとしている • 2. Platform Interfaces Plug in data sources and algorithms – 外部のData Soucesインターフェースを充実させる • MySQL、Hive、Hbaseとのインターフェース。例例えば、SQLライ クな⽂文法で呼べるようになる – Goalとして、”unified engine across data sources” New Direction for Spark in 2015（Matei, CTO, Databricks）
- 15. Spark Summit EAST 2015 大木基至 15 New Direction for Spark in 2015（Matei, CTO, Databricks） 所感：Sparkがデータソースとそれらを分析するツールを統合化した コアエンジンになることを⽬目指している
- 16. Spark Summit EAST 2015 大木基至 16 Harnessing the Power of Spark with Databricks Cloud • Ion Stoica(CEO at databricks)が講演 • Databricks Cloudのご紹介 – Databricks社のクラウド型の統合分析プラットフォーム • Notebook型のインターフェース • Scala, Python, SQL • クラウド基盤はAWSで、計算エンジンがSpark + Cluster Manager → Notebook型イン ターフェースで分析 ダッシュボードとし て共有 分析がジョブと して実⾏行行される
- 17. Spark Summit EAST 2015 大木基至 17 Harnessing the Power of Spark with Databricks Cloud • Databricks Cloud プラットフォーム
- 18. Spark Summit EAST 2015 大木基至 18 Developers Track Developers Track の全体概要 • 殆どのスピーカはsparkが「インメモリ型処理理を⾏行行うから早い」と いうキーワードをセッションの中に盛り込んでいた • SQLで操作したいという欲求も多い – Hadoopの世界と同じ – やはりDB技術者は多い • パラメータチューニングに関する話題はほとんど無かった – プロダクトの紹介が多い • javaは嫌 – コンパイル⾔言語は⼤大変。。 – Python、R好きの⼈人から注⽬目を集めている
- 19. Spark Summit EAST 2015 大木基至 19 Developers Track • Beyond SQL: Spark SQL Abstractions For The Common Spark Job - Michael Armbrust (Databricks) – ジョブの作成コストがHadoopよりも低い • コード量量が少ない – 様々なAPIが⽤用意されているので他のミドルとの連携が⽤用意 • import側：JSON, Hive, MySQL, HDFS, S3等 • export側：dBase, cassandram HBASE, elasticsearch, amazonRedshift
- 20. Spark Summit EAST 2015 大木基至 20 Developers Track • Spark User Concurrency and Context/RDD Sharing at Production Scale - Farzad Aref (Zoomdata) – ビジュアライゼーションツールの１つであるZoomdataの紹介 – Zoomdataは様々なデータソース（ex. S3, HDFS, RDB）を 扱えるがSparkにも対応している – Spark側でジョブを実⾏行行するようにコネクタ（ドライバ）を作 成したので、インメモリでデータを解析する仕組みを Zoomdata上から活⽤用可能 – HDFS上のデータならspark経由でデータを扱ったほうが⾼高速で 良良い
- 21. Spark Summit EAST 2015 大木基至 21 Developers Track • Power Hive with Spark(Hive on Spark) - Chao Sun (Cloudera), Marcelo Vanzin (Cloudera) – HiveはSQLライクな⾔言語でHadoopのジョブを実⾏行行できるインタフェ イスであり、様々な企業で利利⽤用されているが、map/reduce処理理のた め⾼高速な処理理は期待できない – Hiveの処理理エンジンとしてSparkを利利⽤用する事でレスポンスタイムを 向上できる – hiveの機能の⼀一部として開発が進んでいる（HIVE-7292） • 著名な企業からコントリビュータが参画 – Hive1.1の機能の⼀一部としてHive on Spark(HoS) HDFS Spark Mesos Hive YARN HoS
- 22. Spark Summit EAST 2015 大木基至 22 Data Science Track Data Science Track の全体概要 • 各ライブラリを使った分析事例例 – 2014年年の前回から事例例が増えている • 前回は使ってみました系 / 試してみましたが多かった – Mlib, Graph X, Spark Streamingなどを使った事例例 – 実際に動いてるデモが多く、使えることをアピールしている • コードの実装例例も⾒見見ることができた • Sparkによるデータ分析の効率率率化のための検証 – SparkRの現状報告やR onlyよりどれだけ処理理が早いかなどの検証 – Deep LearningをするためのGPU演算をSparkで分散実⾏行行 ＊ 講演の様⼦子はYoutubeで公開
- 23. Spark Summit EAST 2015 大木基至 23 Spark ML Pipelines • データの選択、前処理理、変換の⼀一気通貫した実⾏行行を提供 ①Tokenizer： データの選択/変換しトークン化 ②hashingTF： データの特徴抽出（TF-‐‑‒IDF） ③lr： （パラメータを変化させながら）モデル 作成 ML Pipelinesの⼀一例例 ④Pipelines実⾏行行 ① ② ③ ④
- 24. Spark Summit EAST 2015 大木基至 24 Spark ML Pipelines • Practical Machine Learning Pipelines with Mllib – Joseph Bradley (Databricks) – ML Pipelinesの紹介 • Spark 1.2以上で使⽤用可能だが、まだ実験的な段階 • 他にも、グリッドサーチによるパラメータ選択・Cross Validationによる モデル選択なども実装できている • 今後、データ選択、変換、特徴抽出のアルゴリズムなどをさらに実装して いくとFuture Plan…だが、Roadmap的にやること⼭山積みのまま、Spark 1.3もリリースした印象 • データサイエンスの中でユースケースの話しは特になし – まだ使える⼿手法が限定されている
- 25. Spark Summit EAST 2015 大木基至 25 Spark Mlib • 実⽤用的な機械学習ライブラリを提供 – K-means, Logistic regression…など • ただし、アルゴリズムによって実装品質が揃ってないので注意 • Scikit-learn / R に追いつけるか… – Scala, Python, Javaで書ける • Sparkのバイナリをダウンロードするとソースコードもついてくる – 数⾏行行程度度で機械学習が回せるのは便便利利 – ⾃自学習には、Spark Summit 2014のハンズオン資料料が良良い • https://databricks-training.s3.amazonaws.com/movie- recommendation-with-mllib.html
- 26. Spark Summit EAST 2015 大木基至 26 Spark Mlib • Un-collaborative filtering: Giving the right recommendations when your users aren’t helping you – Leah McGuire (PhD, Salesforce) – 協調フィルタリングの実装とその分析事例例 データ分析のスケールがほしい ⼀一からは作りたくない・Mlibが便便利利
- 27. Spark Summit EAST 2015 大木基至 27 Spark Streaming • ストリームデータ︎のほぼリアルタイム処理理を提供する – Scala, Javaのみだったが、Spark 1.3以降降でPythonもサポート – 多くのストリーミングデータ・ソースをそのまま読み込める • Socket, Flume, Kafka, Twitterなど（Fluentdはまだ未実装） – Discretized Stream（= ⼀一連のRDD） • 受けっ取ったストリーミングデータをn秒ごとにRDDに切切り出す • あくまでマイクロバッチ（500ms ~ 30s） • 10msクラスなら Flume / Stormが適切切 – イベントドリブンには 少し使いづらいかも • ずっと演算しているので CPU / メモリは⾷食う 参考（DMMのビッグデータ分析のご紹介2 〜～Sparkによるリアルタイムレコメンド 〜～）：https://prezi.com/iz1d_sefm1q9/dmmcom-dmm2-spark/
- 28. Spark Summit EAST 2015 大木基至 28 Spark Streaming • Streaming machine learning in Spark – Jeremy Freeman (HHMI Janelia Research Center) • Neuroscientist using computation to understand the brain – Mlib＋Spark Streming • K-means Streaming, Streaming Linear Regression, Time Series analysis… など • 個⼈人的には⼀一番しっかりSparkらしい分析をしていた
- 29. Spark Summit EAST 2015 大木基至 29 (紹介) Graph X • 並列列グラフ計算処理理システム – グラフ構造データと表構造データの並列列分散処理理をひとつのシステム で実装することが可能 • 分散格納されたグラフ構造データは分散環境間で情報の共有が必要で、並 列列分散処理理⾃自体に適さないところを解決している • そもそもグラフ解析とは？ – 表構造で扱いづらいデータが増えてきた（SNS, Networkなど） • 繋がりの抽出 • 軸の抽出 • 距離離の計測 • 影響の計測 • Graph X Advent Calendar 2014 – http://www.adventar.org/calendars/491 • Graph X だけの書籍も
- 30. Spark Summit EAST 2015 大木基至 30 Workshop Data Science Workshop n Databricks Cloud 環境の紹介 n 機械学習の各⼿手法の説明 n Kaggle コンテストデータを使った Hands On …さらに、RecSys2015への投稿 ■Sparkの内部アーキテクチャの解説 ■ジョブ実⾏行行の仕組み解説 ■GUIツールの解説 ■（メモリ周り中⼼心）パラメータ項⽬目の説明 とおおまかな設定⽅方法解説 ■DataBricks Cloudを使⽤用してのSparkジョ ブの実⾏行行 - データロードの仕⽅方、関数の使い⽅方 - ジョブを実⾏行行してGUI上からジョブを閲覧等 Advance Developer Workshop
- 31. Spark Summit EAST 2015 大木基至 31 Workshop • Workshopの所感 – DataBricks Cloud便便利利 • GUIでサクッとVMをデプロイしたりクローン作成が可能 • マルチ⾔言語が便便利利（SQLでデータ取ってきて、Pythonで機械学習を実施 みたいなことができた） • シェアするのも便便利利 – （Developers Workshopの）アンケート結果（⾔言語毎の習熟度度） • Java、SQL使いが多い • Scala、Pythonは初⼼心者 • Rは知らない → 1⽇日⽬目のキーノートではデータサイエンティストを取り込む流流れを 述べていたが、現時点ではSpark Developersに興味がある⼈人はデータ サイエンティストでは無い様⼦子 – Wireless LAN障害で2時間程、何もできず • しまいにはホテルの公衆lanを使えという始末
- 32. Spark Summit EAST 2015 大木基至 32 Meetup • データサイエンス系のMeetupも周辺で多数開催 – DataDriven（2015/03/17 ） • NYCで⽉月１度度開催 • データにまつわることをなんでも • IT企業のCEO,CTOが発表することも多い • 無料料でbloombergでご飯も • 講演はYoutubeチャンネルで配信 – NYC Data Science（2015/03/18） • Spark DataFrames and ML Pipelines for Large-Scale Data Science • Databricks社のエンジニアも発表した模様 – PyData NYC（2015/03/20） • Python + Data Science • ⽇日本でも現在5回⽬目(5/22)。いつも参加登録が殺到 – http://pydatatokyo.connpass.com/
- 33. Spark Summit EAST 2015 大木基至 33 Data Driven NYC #35 • #35のテーマ – Swiftkeyの開発背景（Swiftkey, CTO） • キーボードアプリ。⼊入⼒力力ミスを学習し、⾃自動で訂正してくれる。よく使う ⾔言葉葉、⽂文脈に応じた次の⾔言葉葉を予測してくれる – 時系列列データベースInfluxDB（Paul Dix@InfluxDB, CEO） • GO⾔言語、時系列列データベース • 分析のためのDB – Sparkの背景（Ion Stoica@Databricks, CEO） • ポイント – データを活かすまでの事前作業はとてつもなく⼤大変 • Swiftkeyの単語数は１兆語！ – データベースも分析をするために使⽤用されることを前提とした作りが 前提になっている 1. Datadriven：http://datadrivennyc.com/ 2. Datadriven Youtube：https://www.youtube.com/channel/UCQID78IY6EOojr5RUdD47MQ
- 34. Spark Summit EAST 2015 大木基至 34 PyData NYC • テーマ – Project Jupyter for Data Science – Matplotlib and the IPython notebook – shapeshifting for your data – A couple of tips for winning data science competitions • ポイント – Jupyter（Julia + Python + R） • マルチ⾔言語を１つのnotebookインタフェースで分析できるように – 分析、レジュメ作成、プレゼン、公開まですべてnotebookで • データサイエンティストの分析をnotebookに集めようとしている • Notebookインタフェースを使ってプレゼンも 1. PyData：http://datadrivennyc.com/ 2. PyData Youtube：https://www.youtube.com/channel/UCQID78IY6EOojr5RUdD47MQ
- 35. Spark Summit EAST 2015 大木基至 35 まとめ • Sparkとは – 今データサイエンスの中で今もっともアクティブなプロジェクト • Spark Summit概要 – Hadoopの時と異異なりデータサイエンティストを巻き込もうとしてい る • 各トラックとWorkshopの内容 – ネクストHadoop。メモリに収まりきらないデータの分析でも殆どの 場合でHadoopよりも早い – Mlib / SparkStreaming / Graph X / SparkR等の開発・事 例例・検証もまだまだ出てくる • その他関連MTG – Notebookインターフェースでの分析が今のトレンド – R, Python, (Juliaも？）がデータサイエンスの⾔言語の中⼼心