Hadoop Streamingを使って お好きな言語でMap☆Reduce!
Download as PPTX, PDF2 likes1,790 views
SW LT大会 発表時の資料です。 Hadoopを敬遠している方にオススメしたいHadoop Streamingの紹介程度のゆるい資料です。
Hadoop Streamingを使って お好きな言語でMap☆Reduce!
- 2. • 氏名：田地 将也(@otajisan) • 所属：某中小SIer -> 某Web企業 • 役職：エンジニア兼スクラムマスター • 趣味：酒、バンド、スノボー、モンハン • よく使う言語：PHP, Perl, JavaScript • 「アジャイルひよこくらぶ」というコミュニティの幹事メンバーやってます • 最近ハマっていること！：スクラムによる現場改善、 Python x Hadoop Streaming x Deep Learning 自己紹介
- 4. Hadoopとは？ • Hadoopはデータを複数のサーバに分散し、 並列して処理するミドルウェア • 要は、1台で捌き切れないような大量のデータを、 並列バッチ処理で効率よく捌けるソリューション
- 5. Hadoopって • なんか難しそう • なんとなく敬遠 • Javaかよ！ みたいな
- 6. そんなあなたに
- 8. Hadoop Streamingとは？ • HadoopのMap/Reduce処理は 基本的にJavaで書く • Hadoopに標準で組み込まれている 「Hadoop Streaming」という機能を使うと、 Unixの標準入出力を受け付けることができる
- 10. 本LTでは、 Hadoop Streamingは 色んな言語でMap/Reduce書けるよ、 という様子をご紹介し、 Hadoop ｺﾜｸﾅｲﾖ- という感覚を持って いただけることを目的とします。
- 15. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2
- 16. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2 ワードの出現回数を カウントする
- 17. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2 この、Map / Reduce処理を担う、「 Mapper」と「Reducer」を 色々な言語で書くことができます！
- 18. 書いてみた
- 19. python
- 25. WordCountReducer.py ここでMapperからの入力を 受け付けて 渡ってきた key: aaa value: 1 といった文字列を、 key毎にvalueを加算する
- 26. 実行
- 29. 結果 ファイルが出力されて
- 30. 結果 中身を見ると
- 32. php
- 39. 結果は一緒なので割愛
- 40. perl
- 46. まとめ • Hadoop Streamingを使えば、 色んな言語でMap/Reduceを書ける (jsとかもできるらしい) • お好きな言語で快適なHadoopライフを！