如何使用 dask 拆分大型 .csv 文件？
How to split a large .csv file using dask?
我正在尝试使用 dask 在 100,000 个核心的 AWS Batch 阵列上将一个巨大的制表符分隔文件拆分成更小的块。
在 AWS Batch 中，每个核心都有一个唯一的环境变量 AWS_BATCH_JOB_ARRAY_INDEX，范围从 0 到 99,999（它被复制到下面代码片段中的 idx 变量中）。因此，我正在尝试使用以下代码：
import os
import dask.dataframe as dd
idx = int(os.environ["AWS_BATCH_JOB_ARRAY_INDEX"])
df = dd.read_csv(f"s3://main-bucket/workdir/huge_file.tsv", sep='\t')
df = df.repartition(npartitions=100_000)
df = df.partitions[idx]
df = df.persist() # this call isn't needed before calling to df.to_csv (see comment by Sultan)
df = df.compute() # this call isn't needed before calling to df.to_csv (see comment by Sultan)
df.to_csv(f"/tmp/split_{idx}.tsv", sep="\t", index=False)
print(idx, df.shape, df.head(5))
我需要在调用 df.to_csv 之前调用 presist and/or compute 吗？
当我必须将一个大文件拆分成多个较小的文件时，我只需 运行 下面的代码。
读取并重新分区
import dask.dataframe as dd
df = dd.read_csv("file.csv")
df = df.repartition(npartitions=100)
保存为 csv
o = df.to_csv("out_csv/part_*.csv", index=False)
保存到镶木地板
o = df.to_parquet("out_parquet/")
如果您想避免使用元数据，可以在此处使用write_metadata_file=False。
几点注意事项：
- 我不认为你真的需要持久化和计算，因为你可以直接保存到磁盘。当您遇到诸如内存错误之类的问题时，保存到磁盘比计算更安全。
- 我发现在写入时使用 parquet 格式至少比 csv 快 3 倍。
我正在尝试使用 dask 在 100,000 个核心的 AWS Batch 阵列上将一个巨大的制表符分隔文件拆分成更小的块。
在 AWS Batch 中，每个核心都有一个唯一的环境变量 AWS_BATCH_JOB_ARRAY_INDEX，范围从 0 到 99,999（它被复制到下面代码片段中的 idx 变量中）。因此，我正在尝试使用以下代码：
import os
import dask.dataframe as dd
idx = int(os.environ["AWS_BATCH_JOB_ARRAY_INDEX"])
df = dd.read_csv(f"s3://main-bucket/workdir/huge_file.tsv", sep='\t')
df = df.repartition(npartitions=100_000)
df = df.partitions[idx]
df = df.persist() # this call isn't needed before calling to df.to_csv (see comment by Sultan)
df = df.compute() # this call isn't needed before calling to df.to_csv (see comment by Sultan)
df.to_csv(f"/tmp/split_{idx}.tsv", sep="\t", index=False)
print(idx, df.shape, df.head(5))
我需要在调用 df.to_csv 之前调用 presist and/or compute 吗？
当我必须将一个大文件拆分成多个较小的文件时，我只需 运行 下面的代码。
读取并重新分区
import dask.dataframe as dd
df = dd.read_csv("file.csv")
df = df.repartition(npartitions=100)
保存为 csv
o = df.to_csv("out_csv/part_*.csv", index=False)
保存到镶木地板
o = df.to_parquet("out_parquet/")
如果您想避免使用元数据，可以在此处使用write_metadata_file=False。
几点注意事项：
- 我不认为你真的需要持久化和计算，因为你可以直接保存到磁盘。当您遇到诸如内存错误之类的问题时，保存到磁盘比计算更安全。
- 我发现在写入时使用 parquet 格式至少比 csv 快 3 倍。