如何用rdd.saveAsPickleFile(output_path)自动覆盖output_path中的文件？
How to automatically overwrite files in output_path with rdd.saveAsPickleFile(output_path)?
如果目录已经存在，则通过 rdd.saveAsPickleFile(output_path) 写入文件会失败。虽然这是避免意外删除文件的好方法，但我想知道是否有明确覆盖 folder/the 文件的选项？类似于数据框：
df.write.mode('overwrite').format('json').save(output_path)
注意：以下两个问题here and here之前已经问过但没有得到明确的答复。
如果您想在每次 运行 脚本时明确删除创建 pickle 文件的文件夹。您可以在调用
之前删除 output_path 中的目录，如 中所述
df.write.mode('overwrite').format('json').save(output_path)
如果目录已经存在，则通过 rdd.saveAsPickleFile(output_path) 写入文件会失败。虽然这是避免意外删除文件的好方法，但我想知道是否有明确覆盖 folder/the 文件的选项？类似于数据框：
df.write.mode('overwrite').format('json').save(output_path)
注意：以下两个问题here and here之前已经问过但没有得到明确的答复。
如果您想在每次 运行 脚本时明确删除创建 pickle 文件的文件夹。您可以在调用
之前删除output_path 中的目录，如 中所述
df.write.mode('overwrite').format('json').save(output_path)