Python：带有异步的 Pyppeteer

Question

我正在做一些测试，我想知道下面的脚本是否是运行异步的？

# python test.py  It took 1.3439464569091797 seconds.

31 (sites) x 1.34 = 41.54s - 所以少了几秒钟，但理论上应该只需要最长请求的时间？

# python test.py  It took 28.129364728927612 seconds.

也许在这里打开浏览器不是异步的，我应该为此使用 executor？

# cat test.py 
import asyncio
import time

from pyppeteer import launch
from urllib.parse import urlparse

WEBSITE_LIST = [
    'http://envato.com',
    'http://amazon.co.uk',
    'http://amazon.com',
    'http://facebook.com',
    'http://google.com',
    'http://google.fr',
    'http://google.es',
    'http://google.co.uk',
    'http://internet.org',
    'http://gmail.com',
    'http://whosebug.com',
    'http://github.com',
    'http://heroku.com',
    'http://djangoproject.com',
    'http://rubyonrails.org',
    'http://basecamp.com',
    'http://trello.com',
    'http://yiiframework.com',
    'http://shopify.com',
    'http://airbnb.com',
    'http://instagram.com',
    'http://snapchat.com',
    'http://youtube.com',
    'http://baidu.com',
    'http://yahoo.com',
    'http://live.com',
    'http://linkedin.com',
    'http://yandex.ru',
    'http://netflix.com',
    'http://wordpress.com',
    'http://bing.com',
]

start = time.time()

async def fetch(url):
    browser = await launch(headless=True, args=['--no-sandbox'])
    page = await browser.newPage()
    await page.goto(f'{url}', {'waitUntil': 'load'})
    await page.screenshot({'path': f'img/{urlparse(url)[1]}.png'})
    await browser.close()

async def run():
    tasks = []

    for url in WEBSITE_LIST:
        task = asyncio.ensure_future(fetch(url))
        tasks.append(task)

    responses = await asyncio.gather(*tasks)
    #print(responses)

#asyncio.get_event_loop().run_until_complete(fetch('http://yahoo.com'))
loop = asyncio.get_event_loop()
future = asyncio.ensure_future(run())
loop.run_until_complete(future)

print(f'It took {time.time()-start} seconds.')

Answer 1

根据pyppeteer源代码，它使用subprocess without pipes to manage Chromium processes, and websockets进行通信，因此它是异步的。

您有 31 个站点，那么您将有 31+1 个进程。所以除非你有一个 32 核的 CPU（可能还有线程、系统进程、锁、超线程和所有影响结果的不同因素，所以这只是一个不精确的例子），它不会并行完全执行。因此，我认为瓶颈是 CPU 打开浏览器，渲染网页和转储成图像。使用执行器将无济于事。

但是，它仍然是异步的。也就是说，你的Python进程没有被阻塞，你仍然可以运行其他代码或者等待网络结果并发。只是当 CPU 被其他进程完全加载时， Python 进程变得更难 "steal" CPU 时间。

Python：带有异步的 Pyppeteer

Python: Pyppeteer with asyncio

python

python-asyncio

pyppeteer