Как скачать статистику игроков World of Tanks / Павел Пересторонин [Python Meetup 27.03.15]
5 likes8,395 views
Документ описывает процесс сбора статистики игроков в игре World of Tanks, включая использование API для получения данных об игроках и их танках. Приводятся примеры кода на Python для выполнения запросов к API и обработки ответов, а также интересные статистические данные о количестве игроков и танков. Обсуждаются методы оптимизации запросов и многопоточной обработки данных.
![Как скачать статистику игроков World of Tanks / Павел Пересторонин [Python Meetup 27.03.15]](https://image.slidesharecdn.com/3letsdump-150423015251-conversion-gate01/85/World-of-Tanks-Python-Meetup-27-03-15-12-320.jpg)
![response = yield from aiohttp.request (
"GET",
"http://api.worldoftanks.ru/wot/account/tanks/",
params=params,
)
if response.status == http.client.OK:
json = yield from response.json()
if json["status"] == "ok":
return json["data"]
logging.warning("API error: %s", json["error"]["message"])
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
14](https://image.slidesharecdn.com/3letsdump-150423015251-conversion-gate01/85/World-of-Tanks-Python-Meetup-27-03-15-14-320.jpg)
Как скачать статистику игроков World of Tanks / Павел Пересторонин [Python Meetup 27.03.15]
- 1. Как скачать статистику игроков World of Tanks за одну ночь Павел Пересторонин
- 2. История • Игроки • Танки • Бои • Победы • Поражения • Статистика • Процент побед на каждом танке 2
- 3. 49.9%
- 4. Не все танки одинаково полезны Pz.Kpfw. 38 (t) n.A. 57% БТ-2 55% Type 3 Chi-Nu 47% Type 1 Chi-He 46% Type 4 Chi-To 33% 4
- 6. https://api.worldoftanks.ru/wot/account/tanks/ …, { "statistics": { "wins": 21 , "battles": 51 }, "mark_of_mastery": 1, "tank_id": 1025 }, … 01. 02. 03. 04. 05. 06. 07. 08. 6
- 7. Нужно с чего-то начать for account_id in range(1, 50000000): requests.get( "https://api.worldoftanks.ru/wot/account/tanks/", params={ "account_id": account_id, "application_id": "…", }, ) 01. 02. 03. 04. 05. 06. 07. 08. 7
- 8. 3+ месяцев
- 9. Keep-Alive $ python -m timeit -s "import requests" -- "requests.get('http://google.com')" 10 loops, best of 3: 543 msec per loop $ python -m timeit -s "import requests; s = requests.Session() " -- "s.get('http://google.com')" 10 loops, best of 3: 313 msec per loop 01. 02. 03. 01. 02. 03. 04. 9
- 10. 2+ суток
- 11. concurrent.futures.ThreadPoolExecutor • Сложно отлаживать и останавливать • Фиксированное число потоков • …которые все время чего-то ждут 11
- 13. Event Loop import asyncio, aiohttp @asyncio.coroutine def func(): response = yield from aiohttp.request( "GET", "http://ya.ru") text = yield from response.text() print(text) asyncio.get_event_loop().run_until_complete(func()) 01. 02. 03. 04. 05. 06. 07. 08. 13
- 14. response = yield from aiohttp.request ( "GET", "http://api.worldoftanks.ru/wot/account/tanks/", params=params, ) if response.status == http.client.OK: json = yield from response.json() if json["status"] == "ok": return json["data"] logging.warning("API error: %s", json["error"]["message"]) 01. 02. 03. 04. 05. 06. 07. 08. 09. 10. 14
- 15. Keep-Alive connector = aiohttp.TCPConnector() # … response = yield from aiohttp.request( 'get', 'http://python.org', connector=connector ) 01. 02. 03. 04. 15
- 16. wait_for и sleep asyncio.get_event_loop().run_until_complete( asyncio.wait_for ( aiohttp.request("GET", "http://ya.ru"), 0.01, )) 01. 02. 03. 04. 05. 16
- 17. Еще ничего не ускорили Но у нас уже есть конкурентный однопоточный код, который поддерживает одновременное ожидание нескольких запросов. 17
- 18. Нужно больше запросов pending = set() for account_ids in chop(range(start_id, end_id + 1), 100): pending.add(asyncio.async(api.account_tanks(account_ids))) if len(pending) < max_pending_count : continue done, pending = yield from asyncio.wait ( pending, return_when= asyncio.FIRST_COMPLETED) # TODO: done.result() 01. 02. 03. 04. 05. 06. 07. 08. 18
- 19. Нужно больше запросов Теперь на каждой итерации можно подстраивать число запросов в очереди. Например, подсчитывая число ошибок REQUEST_LIMIT_EXCEEDED . 19
- 20. Зачем это всё? • Хорошо отлаживается • Не нужно думать про синхронизацию • Работает быстрее 20
- 21. Занимательная статистика • 14 часов • Последний ID на RU-регионе: 40 751 344 • 19 905 151 игроков • 632 538 123 танков • 31.8 танков в среднем на аккаунт • Дамп уместился в 2752.5MiB . • 145B на аккаунт. 4.6B на танк. 21
- 22. sys.exit() • eigenein@gmail.com • https://medium.com/@eigenein • https://telegram.me/eigenein 22