Pythonでブラウザをいっぱい動かしたい
- 2. 自己紹介 - kame-chanです。@okusama27 - 普段は株式会社BeProudでPython学習サービスPyQの開発・管理・運用・保守と かいろいろをやってます。 - PyLadies Tokyoスタッフやってます。
- 3. アジェンダ - Pythonでブラウザをいっぱい動かしたい理由 - ざっくり並列処理とは？ - 実演 - thredingで書いてみた - concurrent.futuresで書いてみた - acync/awaitって美味しいの？ - これから調べたいこと
- 4. Pythonでブラウザをいっぱい動かしたい理由 ● リリースの度に約1,700問の問題をブラウザ上で実行しているから。 ○ 実行に1問1分くらいかかる。 ○ 1問を実施するのに「表示」「実装」「実行」「判定」「結果表示」の 5工程がある ○ 普通に手動で実行すると 28時間！1日8時間勤務だと3.5日。 ○ 問題が少ないときは手動で実行していたが、現在は seleniumで自動化。
- 6. Pythonにもある気がする並行処理 - ざっくりいうと、同時にいくつかの処理を 実行すること。 - 上から順に書くと、プログラムは上から 順番に実行する。 - 処理1が終わったら処理2を開始、処理 2が終わったら処理3を開始という順序 で動く。 - Pythonにはいくつか処理を平行に実施 できる手段が用意されています。
- 7. 実装してみました
- 8. threading for i in range(5): if threading.active_count() >= 2: time.sleep(5) continue thread = threading.Thread(target=run_browser, args=(i,)) thread.start() time.sleep(2) 現状では、優先度 (priority)やスレッドグループがなく、スレッドの破壊 (destroy)、中断 (stop)、一時停止 (suspend)、復帰 (resume)、割 り込み (interrupt) は行えません。 （Python公式ドキュメント）
- 9. concurrent.futures with futures.ThreadPoolExecutor(max_workers=2) as executor: for i in range(5): future = executor.submit(run_browser, i) time.sleep(2) max_workersで起動数の制御ができる。 非同期実行は ThreadPoolExecutor を用いてスレッドで実行することも、 ProcessPoolExecutor を用いて別々のプロセスで実行することもできます.
- 10. asyncio loop = asyncio.get_event_loop() gather = asyncio.gather(run_browser(1), run_browser(2), run_browser(3)) loop.run_until_complete(gather) asyncio は async/await 構文を使い 並行処理の コードを書くためのライブラリです。 Javascript(React?)界隈で流行って、Python3.5でasync 構文と await 構文が追加さ れたっぽいです。
- 11. これから - 以下を調べたい - いろいろ方法があるけど、どれがいいの？ - concurrent.futuresのいいところは？ - async/awaitを使ったほうがいい状況を知りたい - async/awaitをがっつり学べるPythonの書籍があれば知りたい。なければ、 Reactの本？