Hadoop / Elastic MapReduceつまみ食い
Download as PPTX, PDF4 likes2,325 views
Jawsug大阪勉強会#3でのプレゼンです。
![Java（これが標準）この他にも状況に応じていろいろなやり方があるので、HadoopConfefence Japan 2009の資料も参考にしてくださいHadoopによる入力(0, Freebase is an open database of the world’s information, covering millions of topics in...)(1, hundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,...)(2, and the SEC archives, it contains structured information on many popular topics,...)(3, including movies, music, people and locations – all reconciled and freely available. This...)(4, information is supplemented by the efforts of a passionate global community of users...)for line in sys.stdin:for word in line.split(): print word + “\t” + “1”mapタスクによる処理他のmapタスクによる処理(Freebase , 1)(is , 1)(an , 1)(open , 1)(database , 1)(MySQL, 1)(is, 1)(not, 1)(proprietary, −5)(database, 119)for aLine in sys.stdin:currentWord= aLine.split()[0] if currentWord == prevWord:count += 1else:print "%s\t%d" % (prevWord, count) count = 1prevWord= currentWordHadoopによるシャッフル(freebase, [1])(is, [1, 1])(an, [1])(open, [1])(database, [1, 1])reduceタスクによる処理(freebase, 1)(is, 2)(an, 1(open, 1)(database, 2)](https://image.slidesharecdn.com/hadoop-emr-110619094822-phpapp01/85/Hadoop-Elastic-MapReduce-16-320.jpg)
Hadoop / Elastic MapReduceつまみ食い
- 1. Hadoop / Elastic MapReduceつまみ食い玉川竜司tamagawa_ryuji@twitter
- 3. 自己紹介を少々本職：ソフトウェア開発者兼業翻訳者Hadoop（象本）7月に2nd EditionでますData Intensive Text Processing With MapReduce（予定）Silverlightで開発するデータ駆動アプリケーションセマンティックWebプログラミングプログラミングGoogle App EngineプログラミングWindows Azure
- 4. なぜHadoop?‘Big Data’：大量のデータを処理することで価値が生まれるただし、既存技術ではメリットを出す事が難しかった高度なアルゴリズム vs単純なアルゴリズムスケールしない高度なアルゴリズムから得られる結果は、単純なアルゴリズムで莫大なデータを処理して得られる結果に及ばない● ニューヨーク株式市場は、1日ごとに1テラバイトの取引データを生み出しています。● Facebookはおよそ100億枚の写真をホストしており、これは1ペタバイトの記憶領域を 占めます。● 家系図サイトのAncestry.comは、2.5ペタバイトのデータを保管しています。● The Internet Archiveはおよそ2ペタバイトのデータを保管しており、 その容量は1か月あたり20 テラバイトのペースで増加しています。● スイスのジュネーブ近郊にある大型ハドロン衝突型加速器は、 年間およそ15ペタバイトのデータを生み出しています。象本から抜粋
- 5. なぜHadoop?（2）必要なのは、スケールアップ=マシンのパワーアップではないスケールアウト=分散処理こそが必要多くの場合、スケーラビリティのネックになっているのはI/O特にディスクのランダムアクセス性能（IOPS）は、この20年でほとんど伸びていないhttp://www.youtube.com/watch?v=9eMWG3fwiEUIn pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log, they didn’t try to grow a larger ox. We shouldn’t be trying for bigger computers, but formore systems of computers.—Grace Hopper
- 9. ジョブの管理
- 14. サンプル：Word CountFreebase is an open database of the world’s information, covering millions of topics inhundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,and the SEC archives, it contains structured information on many popular topics,including movies, music, people and locations – all reconciled and freely available. Thisinformation is supplemented by the efforts of a passionate global community of usersコードを書く方法：
- 16. Java（これが標準）この他にも状況に応じていろいろなやり方があるので、HadoopConfefence Japan 2009の資料も参考にしてくださいHadoopによる入力(0, Freebase is an open database of the world’s information, covering millions of topics in...)(1, hundreds of categories. Drawing from large open data sets like Wikipedia, MusicBrainz,...)(2, and the SEC archives, it contains structured information on many popular topics,...)(3, including movies, music, people and locations – all reconciled and freely available. This...)(4, information is supplemented by the efforts of a passionate global community of users...)for line in sys.stdin:for word in line.split(): print word + “\t” + “1”mapタスクによる処理他のmapタスクによる処理(Freebase , 1)(is , 1)(an , 1)(open , 1)(database , 1)(MySQL, 1)(is, 1)(not, 1)(proprietary, −5)(database, 119)for aLine in sys.stdin:currentWord= aLine.split()[0] if currentWord == prevWord:count += 1else:print "%s\t%d" % (prevWord, count) count = 1prevWord= currentWordHadoopによるシャッフル(freebase, [1])(is, [1, 1])(an, [1])(open, [1])(database, [1, 1])reduceタスクによる処理(freebase, 1)(is, 2)(an, 1(open, 1)(database, 2)
- 17. 分散ファイルシステムHDFSHadoop Distributed File System耐障害性（データブロックの複製）ディスクのシークを減らすためのデータブロック（デフォルト64MB）大量のデータをシーケンシャルアクセスすることを想定しているネットワークトポロジを意識し、効率的に分散処理を行うためのブロック配置を行う
- 19. ローカル開発環境を用意してみたLinux（CentOS5）とCDH（Cloudera Distribution including Apache Hadoop） ver 3https://ccp.cloudera.com/display/SUPPORT/Downloads疑似分散モード（Psuedo Distribution mode）でインストールYumやaptを使って簡単にできますhttps://ccp.cloudera.com/display/CDHDOC/CDH3+Quick+Start+Guidehttps://ccp.cloudera.com/display/CDHDOC/CDH3+Installation+GuideデモンストレーションWikipediaでwordcountしょぼいサンプルですみません。ストリーミングでの実行方法は象本に載ってます
- 21. NoSQL – Not Only SQL正確にはNot Only RDBの方が正しいSQL / RDBがダメ（No SQL）ということではない。RDBはこれからも必須の技術BigDataの到来と共に、RDBだけで何でも片付けられる時代は終わりつつある技術者には、取り扱う問題に合わせて、ストレージやデータベースを選択する力が求められるAWSで言えば、RDS・SimpleDB・SQSが用意されている。場合よってはHadoopも考えましょう。‘Free lunch’の時代は終わり。勉強しないと…
- 22. 事例紹介：Cookpad日本最大のレシピサイト2010年3月現在の月間ユーザー数は884万人月間ページビュー数は4億6000万回実は世界最大級のRuby on RailsサイトでもあるHadoopに関するプレゼンテーションhttp://techlife.cookpad.com/2010/04/28/urapad_kyoto_presentation/7000時間かかっていた処理が30時間に夏場のカレーはナスらしいですHadoopをAmazon EC2/S3（Elastic MapReduce)で運用自社でデータセンターは持っていない
- 23. はじめてみましょうリアルの勉強会（特に関東は非常に活発）と、Twitterでのコミュニケーションが非常に重要ローカルで遊ぶにはCloudera社のディストリビューションマジで使うならElastic MapReduceは便利そう。情報源Publickey（ http://www.publickey1.jp/index.html ）日経コンピュータ象本・MapReduce本・Hadoop徹底入門で全体像をつかんでおいて、各論へ。各論は英語必須。
- 24. ありがとうございました！