在输出文件 AWS Python Glue Job 中添加 .csv 扩展名

Question

我正在尝试从 python 胶水动态框架中保存 csv 文件。下面是我的代码-

glueContext.write_dynamic_frame.from_options(
frame=splender_df,
connection_type="s3",
connection_options={"path": 's3://splender_df/'},
format="csv",

但它正在创建 20 个文件，其中 none 个具有 csv 扩展名 (.csv)。我怎样才能在文件名中只有一个扩展名为.csv 的文件。

Answer 1

您是否指定了分隔符和 quote_char 等额外选项？像下面的例子：

glueContext.write_dynamic_frame.from_options(
frame = datasource1,
connection_type = "s3", 
connection_options = {
    "path": "s3://s3path"
    }, 
format = "csv", 
format_options={
    "quoteChar": -1, 
    "separator": "|"
    }, 
transformation_ctx = "datasink2")

您可以在 link 中找到这些选项。

在输出文件 AWS Python Glue Job 中添加 .csv 扩展名

Add .csv extension in output file AWS Python Glue Job

python

csv

pyspark

aws-glue