在 Python 3.5 中使用 aiohttp 获取多个 url

Question

自从 Python 3.5 引入 async with 以来，docs for aiohttp 中推荐的语法已更改。现在要获得一个 url 他们建议：

import aiohttp
import asyncio

async def fetch(session, url):
    with aiohttp.Timeout(10):
        async with session.get(url) as response:
            return await response.text()

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    with aiohttp.ClientSession(loop=loop) as session:
        html = loop.run_until_complete(
            fetch(session, 'http://python.org'))
        print(html)

我如何修改它以获取 url 的集合而不是一个 url？

在旧的 asyncio 示例中，您将设置一个任务列表，例如

    tasks = [
            fetch(session, 'http://cnn.com'),
            fetch(session, 'http://google.com'),
            fetch(session, 'http://twitter.com')
            ]

我尝试将这样的列表与上述方法结合使用，但失败了。

Answer 1

对于并行执行，您需要 asyncio.Task

我已将您的示例转换为从多个来源获取并发数据：

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        if response.status != 200:
            response.raise_for_status()
        return await response.text()

async def fetch_all(session, urls):
    tasks = []
    for url in urls:
        task = asyncio.create_task(fetch(session, url))
        tasks.append(task)
    results = await asyncio.gather(*tasks)
    return results

async def main():    
    urls = ['http://cnn.com',
            'http://google.com',
            'http://twitter.com']
    async with aiohttp.ClientSession() as session:
        htmls = await fetch_all(session, urls)
        print(htmls)

if __name__ == '__main__':
    asyncio.run(main())

在 Python 3.5 中使用 aiohttp 获取多个 url

Fetching multiple urls with aiohttp in Python 3.5

python

web-scraping

python-3.x

python-asyncio

aiohttp