如何在 dask_cudf 和 cudf 中使用 tqdm 进度条

Question

我可以在pandas中使用tqdm进度条，例如：

tqdm.pandas()
df = df['var'].progress_apply(lambda x: something(x))

我可以在 cudf 或 dask_cudf 中做同样的事情吗，如果不能，那么我如何在其中使用 tqdm 进度条，

Answer 1

在 progress_apply 可用之前，您必须自己实现等效项（例如使用 apply_chunks）。只是代码的草图：

full_size = 100
t = tqdm(total=full_size)
def chunks_generator():
    chunk_size = 5
    for s in range(0,full_size,chunk_size):
        yield s
        t.update(s)

df.apply_chunks(..., chunks=chunks_generator())