AWS Glue dynamicframe 使用 null 将 csv 写入 s3

Question

我有一个胶水作业，正在将动态帧写入 s3 中的 CSV，但由于某种原因，空值被删除了。解决这个问题的好方法是什么？

所需的 CSV 输出：

user_id, example_assignment, example_product
null, null, null
null, llama, null
null, null, feed

CSV 格式的当前输出：

user_id, example_assignment, example_product
,,
,llama,
,,feed

粘写 Csv：

glueContext.getSinkWithFormat(
      connectionType = "s3",
      options = example_path, 
      transformationContext = "example_transformation", 
      format = "csv"
    ).writeDynamicFrame(exampleDF)

Answer 1

因此目前 Glue 不提供 emptyValues option like Spark 写入。

您可以直接使用 Spark API，或者预先填充这些空值，例如，前面提到的来自 Glue 的 FillMissingValue Class。