![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
サブコルーチンを yield from で呼ぶ
def twice_counter() -> typing.Generator[None, None, None]:
yield from counter(10, "counter1")
yield from counter(5, "counter2")
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-18-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
イベントループの素朴な実装
非同期 IO に関する処理
tasks: typing.List[typing.Generator[None, None, None]] = []
removing: typing.Set[typing.Generator[None, None, None]] =
while True:
for t in tasks:
try:
t.send(None)
except StopIteration:
removing.add(t)
except Exception as e:
print(e)
removing.add(t)
for t in removing:
tasks.remove(t)
removing = set()
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-23-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
Future の素朴な実装
class Future(typing.Generic[T]):
_result: typing.Union[T, None]
def __init__(self):
self._result = None
self._done = False
def done(self, value: T):
self._result = value
self._done = True
def get_result(self) -> typing.Generator[None, None, T]
while self._result is None:
yield
return self._result
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-25-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
タスクの素朴な実装
def task(coro: typing.Generator[None, None, T], f: Future[T
result: T = yield from coro
f.done(result)
def create_task(coro: typing.Generator[None, None, T]) -> t
f: Future[T] = Future()
tasks.append(task(coro, f))
return f.get_result()
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-27-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
タスクを使った非同期処理
def twice_counter() -> typing.Generator[None, None, None]:
t1 = create_task(counter(10, "counter1"))
t2 = create_task(counter(5, "counter2"))
yield from t1
yield from t2
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-28-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
selector をコルーチンで呼び出せるようにして echo サー
バー (1)
recv をコルーチンで扱えるようにする
def read_async(conn:socket.socket):
f: Future[bytes] = Future()
def callback(conn: socket.socket, _):
sel.unregister(conn)
f.done(conn.recv(1000))
sel.register(conn, selectors.EVENT_READ, callback)
return f.get_result()
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-41-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
selector をコルーチンで呼び出せるようにして echo サー
バー (2)
send をコルーチンで扱えるようにする
def send_async(conn:socket.socket, data: bytes):
f: Future[int] = Future()
def callback(conn: socket.socket, _):
sel.unregister(conn)
f.done(conn.send(data))
sel.register(conn, selectors.EVENT_WRITE, callback)
return f.get_result()
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-42-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
selector をコルーチンで呼び出せるようにして echo サー
バー (4)
selector やソケットの準備
sel = selectors.DefaultSelector()
tasks: typing.List[typing.Generator[None, None, None]] = []
sock = socket.socket()
sock.bind(('localhost', 1234))
sock.listen(100)
sock.setblocking(False)
sel.register(sock, selectors.EVENT_READ, accept)
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-44-320.jpg)
![はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お
selector をコルーチンで呼び出せるようにして echo サー
バー (5)
イベントループ
while True:
events = sel.select()
for key, mask in events:
callback = key.data
callback(key.fileobj, mask)
removing: typing.Set[typing.Generator[None, None, None]
for t in tasks:
try:
t.send(None)
except StopIteration:
removing.add(t)
except Exception as e:
print(e)
Atsushi Odagiri
async/await の向こう側](https://image.slidesharecdn.com/slide-220122040903/85/async-await-PyCon-Kyushu-2022-45-320.jpg)
async/await の向こう側 PyCon Kyushu 2022
- 1. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お async/await の向こう側 PyCon Kyushu 2022 Kumamoto Atsushi Odagiri 2022-01-22 Atsushi Odagiri async/await の向こう側
- 2. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お はじめに Atsushi Odagiri async/await の向こう側
- 3. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お お前誰よ aodag Atsushi Odagiri 株式会社オープンコレクター python1.5 とかから Atsushi Odagiri async/await の向こう側
- 4. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お アジェンダ asyncio とコルーチン コルーチン 非同期 IO Atsushi Odagiri async/await の向こう側
- 5. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お async/await と asyncio Atsushi Odagiri async/await の向こう側
- 6. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お async/await と asyncio Python 3.4 asyncio 導入 Python 3.5 async/await 構文導入 Atsushi Odagiri async/await の向こう側
- 7. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お asyncio 非同期 IO をコルーチンで扱えるライブラリ コルーチンを扱うための関数も用意されている Atsushi Odagiri async/await の向こう側
- 8. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お async/await コルーチンを扱うための構文 await でサブコルーチンを呼び出して大きなコルーチンを作る await にはサブコルーチンが必要 await だけでコルーチンを作ることができない __await__ スペシャルメソッドで awaitable な型を定義 Atsushi Odagiri async/await の向こう側
- 9. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お コルーチンとは？ Atsushi Odagiri async/await の向こう側
- 10. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 並列処理 並列処理 (concurrent) プリエンプティブなスレッド コルーチン (協調スレッド) Atsushi Odagiri async/await の向こう側
- 11. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お プリエンプティブな並列処理 主に OS の機能を使う gevent のようにユーザーランドのみで行う実装もある コンテキストの切り替えは実行中のプログラムが意識するこ となく行われる いつ切り替わるかわからないので共有リソースの扱いに注意 IO 待ちにる場合なども自動で行われるように作られている Atsushi Odagiri async/await の向こう側
- 12. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 協調スレッドによる並列処理 協調スレッド 自分で処理を明け渡す yield を使う Atsushi Odagiri async/await の向こう側
- 13. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お どうしてジェネレーターでコルーチンが作れるのか？ yield で処理を明け渡す send されると値を受け取って処理を再開する yield from でコルーチンの結果を取得 Atsushi Odagiri async/await の向こう側
- 14. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お ジェネレーターでコルーチンを書く def counter(n: int, name: str) -> typing.Generator[None, No count = 0 while count < n: yield print(f"{name}: {count}") count += 1 Atsushi Odagiri async/await の向こう側
- 15. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お ジェネレーターで書いたコルーチンを動かす coroutines = [counter(10, "counter1"), counter(5, "counter2 while coroutines: for c in coroutines: try: c.send(None) except StopIteration: coroutines.remove(c) Atsushi Odagiri async/await の向こう側
- 16. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お コルーチンを動かしてみた結果 counter1: 0 counter2: 0 counter1: 1 counter2: 1 counter1: 2 counter2: 2 counter1: 3 counter2: 3 counter1: 4 counter2: 4 counter1: 5 counter1: 6 counter1: 7 counter1: 8 counter1: 9 Atsushi Odagiri async/await の向こう側
- 17. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お yield from で結果を取得 yield from でサブコルーチンを呼ぶ サブコルーチンまで含めて大きなコルーチンになる サブコルーチンが return した値が yield from で返って くる Atsushi Odagiri async/await の向こう側
- 18. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お サブコルーチンを yield from で呼ぶ def twice_counter() -> typing.Generator[None, None, None]: yield from counter(10, "counter1") yield from counter(5, "counter2") Atsushi Odagiri async/await の向こう側
- 19. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お yield 式って結局なに？ next したときにジェネレーターとしての要素を返す 次に next されるまで処理が止まる 値を渡すときは send を使う Atsushi Odagiri async/await の向こう側
- 20. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お await vs yield from await サブコルーチンを起動して、結果を受け取る yield from サブジェネレータを起動して、ジェネレータの 要素とする + 結果を受け取る await は途中経過を気にしないようになって、よりコルーチ ンとしての機能に特化している Atsushi Odagiri async/await の向こう側
- 21. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お タスク!future!コルーチンを利用するための ツール Atsushi Odagiri async/await の向こう側
- 22. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お イベントループ イベントについては後述 コルーチンはジェネレーターなので send してくれるループ が必要 複数のコルーチンを順番に少しずつ send することでそれぞ れのコルーチンが実行される Atsushi Odagiri async/await の向こう側
- 23. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お イベントループの素朴な実装 非同期 IO に関する処理 tasks: typing.List[typing.Generator[None, None, None]] = [] removing: typing.Set[typing.Generator[None, None, None]] = while True: for t in tasks: try: t.send(None) except StopIteration: removing.add(t) except Exception as e: print(e) removing.add(t) for t in removing: tasks.remove(t) removing = set() Atsushi Odagiri async/await の向こう側
- 24. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お future で非同期に結果を得る 結果が入る場所を用意してコルーチンに渡す 他のコルーチンで後から結果を確認 Atsushi Odagiri async/await の向こう側
- 25. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お Future の素朴な実装 class Future(typing.Generic[T]): _result: typing.Union[T, None] def __init__(self): self._result = None self._done = False def done(self, value: T): self._result = value self._done = True def get_result(self) -> typing.Generator[None, None, T] while self._result is None: yield return self._result Atsushi Odagiri async/await の向こう側
- 26. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お コルーチンと future をまとめてタスクにする タスクは受け取ったコルーチンをサブコルーチン呼び出して 結果を future に入れるコルーチン 並列で実行するようにタスクをイベントループに追加 Atsushi Odagiri async/await の向こう側
- 27. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お タスクの素朴な実装 def task(coro: typing.Generator[None, None, T], f: Future[T result: T = yield from coro f.done(result) def create_task(coro: typing.Generator[None, None, T]) -> t f: Future[T] = Future() tasks.append(task(coro, f)) return f.get_result() Atsushi Odagiri async/await の向こう側
- 28. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お タスクを使った非同期処理 def twice_counter() -> typing.Generator[None, None, None]: t1 = create_task(counter(10, "counter1")) t2 = create_task(counter(5, "counter2")) yield from t1 yield from t2 Atsushi Odagiri async/await の向こう側
- 29. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 非同期 IO Atsushi Odagiri async/await の向こう側
- 30. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 非同期 IO 非同期 IO とはなにか IO 待ちしている間は CPU は暇 IO 待ちしている間に別のタスクを実行したい IO の状況が変わるまで放置 Atsushi Odagiri async/await の向こう側
- 31. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お イベントループのイベントとは？ IO が読み取り可能になった IO が書き込み可能になった Atsushi Odagiri async/await の向こう側
- 32. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 非同期 IO（コールバック） コールバックで IO を待つ イベント発生時にコールバックを呼ぶ コールバックが呼ばれるまで他の処理ができる Atsushi Odagiri async/await の向こう側
- 33. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selectors モジュール 非同期 IO select/poll などの標準的な仕組み kequeue, epoll, IOCP のような OS ごとの仕組み selectors モジュールは様々な OS 向けの非同期 IO の仕組みを 共通のインターフェイスで使えるようにしたラッパー Atsushi Odagiri async/await の向こう側
- 34. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selectors モジュールを使う処理 監視対象を登録する register ポーリングしてイベントを取得 select 監視を解除 unregister Atsushi Odagiri async/await の向こう側
- 35. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 非同期 IO をコルーチンで処理する イベントループ内でポーリングする Atsushi Odagiri async/await の向こう側
- 36. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 素朴な echo サーバー accept したらそのまま echo 処理を行う 1 つのクライアントの処理が終わらないと他のクライアント の接続を処理できない sock = socket.socket() sock.bind(('localhost', 1234)) sock.listen(100) while True: conn, addr = sock.accept() while True: data = conn.recv(1000) if data: conn.send(data) else: conn.close() break Atsushi Odagiri async/await の向こう側
- 37. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お マルチスレッドな echo サーバー accept したら子スレッドを作成してクライアントソケットを 渡す def accept(conn: socket.socket): try: data = conn.recv(1000) while data: conn.send(data) data = conn.recv(1000) finally: conn.close() while True: conn, _ = sock.accept() threading.Thread(target=accept, args=(conn,)).start() Atsushi Odagiri async/await の向こう側
- 38. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お スレッドプールを使う echo サーバー accept したらクライアントソケットをスレッドプールに渡す executor = ThreadPoolExecutor() while True: conn, _ = sock.accept() executor.submit(accept, conn) Atsushi Odagiri async/await の向こう側
- 39. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector にコールバックを使って echo サーバー コールバック処理 def accept(sock, _): conn, addr = sock.accept() # Should be ready print('accepted', conn, 'from', addr) conn.setblocking(False) sel.register(conn, selectors.EVENT_READ, read) def read(conn, _): data = conn.recv(1000) # Should be ready if data: print('echoing', repr(data), 'to', conn) conn.send(data) # Hope it won't block else: print('closing', conn) sel.unregister(conn) Atsushi Odagiri async/await の向こう側
- 40. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector にコールバックを使って echo サーバー selector や socket の準備 sel = selectors.DefaultSelector() sock = socket.socket() sock.bind(('localhost', 1234)) sock.listen(100) sock.setblocking(False) sel.register(sock, selectors.EVENT_READ, accept) while True: events = sel.select() for key, mask in events: callback = key.data callback(key.fileobj, mask) Atsushi Odagiri async/await の向こう側
- 41. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector をコルーチンで呼び出せるようにして echo サー バー (1) recv をコルーチンで扱えるようにする def read_async(conn:socket.socket): f: Future[bytes] = Future() def callback(conn: socket.socket, _): sel.unregister(conn) f.done(conn.recv(1000)) sel.register(conn, selectors.EVENT_READ, callback) return f.get_result() Atsushi Odagiri async/await の向こう側
- 42. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector をコルーチンで呼び出せるようにして echo サー バー (2) send をコルーチンで扱えるようにする def send_async(conn:socket.socket, data: bytes): f: Future[int] = Future() def callback(conn: socket.socket, _): sel.unregister(conn) f.done(conn.send(data)) sel.register(conn, selectors.EVENT_WRITE, callback) return f.get_result() Atsushi Odagiri async/await の向こう側
- 43. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector をコルーチンで呼び出せるようにして echo サー バー (3) echo タスク def accept(sock, _): conn, _ = sock.accept() conn.setblocking(False) create_task(read(conn)) def read(conn: socket.socket): while True: data = yield from read_async(conn) if data: yield from send_async(conn, data) else: break conn.close() Atsushi Odagiri async/await の向こう側
- 44. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector をコルーチンで呼び出せるようにして echo サー バー (4) selector やソケットの準備 sel = selectors.DefaultSelector() tasks: typing.List[typing.Generator[None, None, None]] = [] sock = socket.socket() sock.bind(('localhost', 1234)) sock.listen(100) sock.setblocking(False) sel.register(sock, selectors.EVENT_READ, accept) Atsushi Odagiri async/await の向こう側
- 45. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お selector をコルーチンで呼び出せるようにして echo サー バー (5) イベントループ while True: events = sel.select() for key, mask in events: callback = key.data callback(key.fileobj, mask) removing: typing.Set[typing.Generator[None, None, None] for t in tasks: try: t.send(None) except StopIteration: removing.add(t) except Exception as e: print(e) Atsushi Odagiri async/await の向こう側
- 46. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お おまけ Atsushi Odagiri async/await の向こう側
- 47. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お コルーチンでない awaitable class AwaitableSample: def __await__(self): yield return "hello" Atsushi Odagiri async/await の向こう側
- 48. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お コルーチンでない！ タスクが受け取るのはコルーチンであって awaitable 全般 ではないらしい asyncio.create_task(AwaitableSample()) TypeError: a coroutine was expected, got <__main__.AwaitableSample object at 0x7f4429c36100> Atsushi Odagiri async/await の向こう側
- 49. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お まとめ Atsushi Odagiri async/await の向こう側
- 50. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お まとめ コルーチン yield で処理を明け渡す協調スレッド (コルーチン) yield from はコルーチンを起動して終了を待機する タスクは起動したコルーチンと結果を受け取る Future の組 非同期 IO OS ごとに異なる方法で IO の状態を監視 ポーリングして状態チェック クライアント接続ごとにスレッドを消費しない 状態が変化するまでコルーチンで待つ Atsushi Odagiri async/await の向こう側
- 51. はじめに async/await と asyncio コルーチンとは？ タスク!future!コルーチンを利用するためのツール 非同期 IO お 参考文献 PEP 255 – Simple Generators PEP 380 – Syntax for Delegating to a Subgenerator -PEP 492 – Coroutines with async and await syntax PEP 3156 – Asynchronous IO Support Rebooted: the “asyncio” Module Python3.4 当時の asyncio リファレンス Atsushi Odagiri async/await の向こう側