保存到 Parquet 会在 Dask.dataframe 中引发错误

Question

执行操作时：Dask.dataframe.to_parquet(data)，如果 data 是通过 Dask 以给定数量的分区读取的，并且您在删除一些分区后尝试将其保存为 parquet 格式列，它失败了，例如以下错误：

FileNotFoundError: [Errno 2] No such file or directory: part.0.parquet'

有人遇到同样的问题吗？

这是一个最小的例子 - 请注意方式 1 按预期工作，而方式 2 不工作：

import numpy as np
import pandas as pd
import dask.dataframe as dd

# -------------
# way 1 - works
# -------------
print('way 1 - start')
A = np.random.rand(200,300)
cols = np.arange(0, A.shape[1])
cols = [str(col) for col in cols]
df = pd.DataFrame(A, columns=cols)
ddf = dd.from_pandas(df, npartitions=11)

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 1 - end')

# ----------------------
# way 2 - does NOT work 
# ----------------------
print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 2 - end')

Answer 1

哦，太好了，您发现了 overwrite=True 选项导致的错误。所以当设置 overwrite=True 选项时，dask 会删除路径，请参阅 these lines。现在，在您的示例中 ddf 是惰性的，因此当需要写入数据时，dask 会尝试读取文件，但它们现在已经消失了。

因此，一种解决方案是将新数据框保存到不同的路径，然后删除旧文件夹并将新数据框的文件夹移动到旧文件夹（一些选项是 here）。

另一种选择是将 ddf 加载到内存中（如果适合），然后使用您的代码：

print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# # compute and persist in memory (note do not use
# # .compute because the dataframe will turn into
# # pandas data frame
ddf = ddf.drop(cols[0:11], axis=1)
ddf = ddf.persist()
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
# print('way 2 - end')

作为旁注，当您运行 ddf.drop(cols[0:11], axis=1) 时，如果您希望在数据框中更改它，则需要分配它：

ddf = ddf.drop(cols[0:11], axis=1)

更新：有一些相关的讨论here

保存到 Parquet 会在 Dask.dataframe 中引发错误

Saving to Parquet throws an error in Dask.dataframe

python

python-3.x

parquet

dask

dask-dataframe