マルチタスクって奥が深い #mishimapm
- 1. マルチタスクって奥が深い OGATA Tetsuji (@xtetsuji) 2014/07/12 Mishima.pm#1
- 2. 自己紹介 • 尾形 鉄次 (OGATA Tetsuji) • Twitter: @xtetsuji • Blog: http://post.tetsuji.jp/
- 4. 2013/12/11 Mishima.pm#0 2013年12月に胃潰瘍で入院したときのツイートまとめ - Togetterまとめ http://togetter.com/li/607049
- 5. あれから半年 • 半年経過後の胃カメラ検査をつい先日してきました • 静岡前の胃カメラ、今度は死亡フラグじゃなかった • 珍しい位置の潰瘍だったけど、なんとか生きてます • あれから毎月激動で、公私ともに忙しいけれど、皆様の 温かいご支援で生きています
- 8. 過去にしているトークの一例 • 「そのsleep、ちょっと待った」(PerlBeginners#13) • 「イベント駆動とノンブロッキング」(Hokkaido.pm#10) • 今回はこれらのプラスアルファな感じの話をします • ビギナー向けにちょうどよい感じ、という言い訳 • みんなで質疑応答をしたりといった感じでよろしくです
- 9. 色々なPerlのツール • forkや、Parallel::ForkManager、Parallel::Prefork など • 封印されしithreads (アッ、誰か来た) • AnyEvent前史のPOEフレームワーク • AnyEvent、そしてCoroといったMarc Lehmmanツール • 今昔IO非同期系ツール群
- 10. 結構雑にカジュアルに • マルチタスク＝複数の仕事をこなす • 非同期＝ノンブロッキング • 同期＝ブロッキング • 情報系の学術論文でないのであれば、この辺りあんまり 厳密に区別しなくてもよいっぽい(頭の中でできることに 越した事はありません)
- 11. ithreadsが使われない理由 • Perlのスレッド(ithreads)は不安定だし効率が悪い • Perlはグローバルな状態だらけの世界観なので、後付け のスレッドもインタープリタプールを作ったり、色々大 変な事をしているので、同情してあげてください • Windowsにはforkがないので、WindowsのPerlでは Win32スレッドを使ったforkのエミューレーションをし ているそうです
- 12. forkモデル • fork=フォーク=分岐 • 途中で親と子に分かれてプログラムの分岐を行う • Perl組み込みのfork関数がそれを実現してくれる
- 13. forkサンプル #!/usr/bin/env perl! ! use strict;! use warnings;! use utf8;! ! binmode STDOUT, ':utf8';! binmode STDERR, ':utf8';! ! print "親です。プロセスIDは $$ です。開始します。n";! ! my $pid = fork; # ここで親と子で分岐! ! if ( $pid ) {! sleep 2;! print "親です。子のプロセスIDは $pid のようです。しばらく休みますn";! sleep 10;! print "親です。10秒待ちました。n";! } elsif ( $pid == 0 ) {! sleep 3;! print "子です。私のプロセスIDは $$ のようです。n";! for my $i (1..5) {! print "子です。${i}回目。n";! sleep 1;! }! print "子はしばらく待ちます。先に親が終了してプロンプトに戻りますn";! sleep 10;! } else {! die "forkできなかった？n";! }! ! print "pid=$pid $$=$$n"; # 親も子も通る
- 14. あんまりforkを直接書かない • 見てパッと理解できない • 多くの子プロセスを作るときにfork()を呼びまくった ら結構混乱する • 親と子でコミュニケーションするにはプロセス間通信が 一番プリミティブな方法かな • 多くのforkが必要になった場合には、これを抽象化した Parallel::ForkManagerが役に立つ
- 15. Parallel::ForkManagerの例 #!/usr/bin/env perl! ! use strict;! use warnings;! ! use LWP::UserAgent;! use Parallel::ForkManager;! ! my @urls = ( map { sprintf "http://example.jp/images/%02d.jpg" } (1..99) );! ! my $ua = LWP::UserAgent->new;! ! my $pm = Parallel::ForkManager->new(5); # 最大5プロセス並列! ! for my $url (@urls) {! my $pid = $pm->start and next;! # 子プロセスの処理! print "プロセスIDが $$ の子プロセスが $url からデータをダウンロードしますn";! ( my $filename = $url ) =~ s{.*/}{};! $ua->get($url, ":content_file" => $filename);! $pm->finish; # 子プロセスを終了! }
- 16. 並列ダウンロードと マルチタスク • 外界の影響を受けるダウンロードというタスクの場合、 同期的にダウンロードをするとサーバによって待たされ るケースがあったりする • RSSとかを大量にクロールするとか、死活問題 • 例えばParallel::ForkManagerで解決できる
- 17. ForkManagerとPrefork • Parallel::ForkManagerは並列クライアントを作るもの、 Parallel::Preforkは並列処理ができるforkモデルのサーバ を作るものと覚えておくとよい • Parallel::ForkManagerは相当以前からDebian/Ubuntu パッケージとしても提供されているので、システムPerl でも使いやすい • Parallel::Preforkは奥一穂さんによる和製モジュール
- 18. forkの問題点と言われること • プログラムのコピーなのでメモリを食う • Copy on Write(CoW)というOSの機構により倍々には ならないはずだけど、限界はある • プロセス間通信が面倒 • これは頑張るか、コストを気にしなければHTTP等の サーバを介したりするのがよいかも
- 19. とはいえforkはよく使う • UNIX/Linuxのサブプロセスの原点fork • 覚えておくと色々勉強になるし、自分もよく勉強してる • Perlのsystem関数はforkとexecの組み合わせ • 先輩プログラマが「フォーク」とか言っているときに、 ちょっと知った気になれるの重要
- 20. イベント駆動モデル • スレッドともforkとも若干違うマルチタスクモデル • Apacheのprefork MPMがAjax時代にまつわるC10K問題 に対抗できない代替として生まれたともいえるNginxの マルチタスクモデルとして注目された • Perlでは、AnyEventというイベント駆動フレームワーク が以前から主流で、以前からあった同種のイベント駆動 モジュールのインターフェースを統一したりもした
- 21. AnyEvent • 以前流行したPOEの後継にあたるものともいえる • Perlで動作する様々なイベント駆動フレームワークの、 今の事実上のデファクトスタンダード • 裏側のイベント処理実装に様々なものが選べる • 各種イベント(時間、I/O、シグナル、などなど)で処理を 走らせることができる
- 22. AnyEventの後ろの実装 • AnyEvent::Impl::* 以下にあるものが選べる • Cocoa、Event、FLTK、IOAsync、POE、Qt、EV、 EventLib、Glib、Irssi、Perl (AnyEvent標準の実装)、Tk • 通常はAnyEvent::Impl::Perlが選ばれるけど、EVを選ん だり、場所によって選択を変える場合がある • Marc Lehmann氏も「POEはやめとけ」と書いている
- 23. POEが衰退した理由 • 構造が複雑：OSとほぼ同じ、カーネル・ヒープ構造 • 書き方が複雑 • 静かにプログラムが異常終了していることが多かった • 重いとも言われていた
- 24. daemonを作るwhileループ • daemon的な常駐プログラムを作る場合、 while(1){…} といった無限ループを作ることが定石 • とはいえ、無限ループにsleepをはさみ忘れたりすると、 CPU暴走してサーバが死んだりするので怖い • while無限ループはなるべく自前で書かない方がいいとい うのが私の持論
- 25. AnyEventの方法論 • AnyEvent::Impl::* によっても変わるけど、結局的に、 PerlやCのwhile(1){…}が一番根底で走っていると思っ て差し支えない • 特にAnyEvent::Impl::Perlの場合は、AnyEvent::Loopが それらしい
- 26. AnyEvent::Loopより sub run {! one_event while 1;! } one_event メソッドは多くの仕事をしていますが割愛
- 27. AnyEventの活用例 • クライアントでは各種IRCやTwitterボットなどで活用 • サーバではWebサーバ(Twiggyが有名)をはじめとした、 任意のTCPサーバが書ける • これらを組み合わせたりできるので、IRCクライアント でかつWebサーバというプログラムも書ける (Ikachanと いう良い実装例もある)
- 28. AnyEventで時間イベント #!/usr/bin/env perl! ! use strict;! use warnings;! use AnyEvent;! ! my $cv = AnyEvent->condvar; # 状態変数! my $timer1 = AnyEvent->timer(! after => 1,! cb => sub { print "timer1 hello!n"; },! interval => 2,! );! my $timer2 = AnyEvent->timer(! after => 1,! cb => sub { print "timer2 hello!n"; },! interval => 3,! );! my $timer3 = AnyEvent->timer(! after => 1,! cb => sub { print "timer3 hello!n"; },! interval => 5,! );! my $stop_timer = AnyEvent->timer(! after => 10,! cb => sub { $cv->send("end"); }, # 終わらせる! );! my $val = $cv->recv; # ループをまわす! print "terminate: $valn";
- 29. AnyEventで時間イベント • 最初はwhileループのほうが良いと思うけど、自分で気を つけてsleep書かなくてもいいし慣れるとこっちが良い • IRCボットとかだと、定時発言などもこれでできる • perldoc AnyEventをみたり、CPANでAnyEventで作られ たモジュールを見たりして少しずつ覚えていくといい
- 30. AnyEvent::Mac::Pasteboard • Macのクリップボード(ペーストボード)を監視して、変更 があったら指定の処理をするモジュールを書いてみた • これもタイマーで変更を定期監視しているだけ • Cocoaの知識があればもっと良い感じができるかも • その後AnyEvent::Clipboardも作りました(GitHub止まり)
- 31. その他 • CPANで「Async」というキーワードで検索してみる • AnyEventを入れるほどではないけど、非同期アクセスが 必要な場合に良い場合がある (HTTP::Asyncとか) • MojoliciousであればMojo::IOLoopとか • Mojolicious飲み会とかやりたいと思っているので、続き はそこで非同期飲み会やりましょう
- 32. 注意点とか • LWP::UserAgent等で長時間処理をブロックしたりする と、AnyEventの処理全体をブロックすることになるので ノンブロッキングなAnyEvent::HTTPなどを使おう • JavaScriptのAjaxやっている人だとコールバック的 • ドヤ顔で「AnyEventで(ry」とか言ってIO::Socket::INET 使っていたりすると、ブロッキングとか言われて恥ずか しい思いをします
- 33. 最後にいろいろ • ノンブロッキングのネットワークI/Oについては AnyEvent::Socketをベースに作ります • AnyEvent::SocketはSocketモジュールをベースに、ノン ブロッキングネットワークI/Oの方法論を元に書かれてい るようです • 基本的に、既に作られているL7層のモジュールを元に、 自分で新しいプログラムやモジュールを作ればしあわせ
- 35. おしまい