将异步生成器转换为同步生成器

Question

假设我们有一个原始的 API，returns 一个生成器（它实际上是一种机制，可以从服务器带来 pages/chunks 结果，同时向用户提供一个简单的生成器, 并让他一个一个地迭代这些结果。为了简单起见：

# Original sync generator
def get_results():
     # fetch from server
     yield 1
     yield 2
     # fetch next page
     yield 3
     yield 4
     # ....

现在需要实现 API 的异步版本，但是我们也需要保持旧的 API 可操作。这就是事情变得复杂的地方，我们有点想将异步生成器转换为同步生成器，但我找不到一种优雅的方法来做到这一点。到目前为止我能做的最好的工作是“首先将所有结果提取到一个列表中，然后在该列表上提供一个假的同步生成器”。哪种违背目的：

# Async generator
async def get_results_async():
     # await fetch from server
     yield 1
     yield 2
     # await fetch next page
     yield 3
     yield 4
     # ....


# Backward compatible sync generator
def get_results():

    async def gather_all_results():
        res = []
        async for i in get_results_async():
            res.append(i)
        return res

    res = asyncio.run(gather_all_results())
    for i in res:
        yield i

有没有更好、更优雅的方法来做到这一点，而无需在返回之前获取所有结果？

谢谢

Answer 1

由于 asyncio 具有传染性，因此很难编写优雅的代码将 asyncio 代码集成到旧代码中。对于上面的场景，流畅的代码好一点，但我觉得不够优雅。

async def get_results_async():
    # await fetch from server
    yield 1
    yield 2
    # await fetch next page
    yield 3
    yield 4
    # ....


# Backward compatible sync generator
def get_results():
    gen = get_results_async()
    while True:
        try:
            yield asyncio.run(gen.__anext__())
        except StopAsyncIteration:
            break

并且您可以re-use您的事件循环而不是创建新的事件循环。

async def get_results_async():
    # await fetch from server
    yield 1
    yield 2
    # await fetch next page
    yield 3
    yield 4
    # ....

# loop that you save in somewhere.
loop = asyncio.get_event_loop()

# Backward compatible sync generator
def get_results():
    gen = get_results_async()
    while True:
        try:
            yield loop.run_until_complete(gen.__anext__())
        except StopAsyncIteration:
            break

将异步生成器转换为同步生成器

Translating async generator into sync one

python

generator

python-asyncio