ASYNC - Pandas read_sql 和 asyncio？

Question

有人可以为我指明正确的方向，帮助我解决以下问题。我正在尝试使用 pandas.read_sql 和 asyncio 提出一个解决方案。我想将 table 条记录从 1 个数据库迁移到另一个数据库。

我想执行以下操作：

table 1
.
.
.
table n

我有函数：

def extract(table):
    try:
        df = pd.DataFrame()
        df = pd.concat(
              [chunk for chunk in
                  pd.read_sql(sql,
                              con=CONNECTION,
                              chunksize=10**5)]
                    )
    except Exception as e:
        raise e
    else:
        return df

我想运行这些并行而不是一个接一个。

extract(table1)
extract(table2)
.
.
extract(tablen)

Answer 1

asyncio 是关于将非阻塞代码组织成回调和协程。运行 CPU 并行密集型代码是线程的一个用例：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor() as executor:
    frames = list(executor.map(extract, all_tables))

这是否实际上运行比顺序代码快取决于 pd.read_sql 是否释放了 GIL。

ASYNC - Pandas read_sql 和 asyncio？

ASYNC - Pandas read_sql and asyncio?

python

pandas

python-asyncio

python-3.7