将 DataFrame 转换为 DynamicFrame 时出现问题

Question

我有一个将 DataFrame 转换为 DynamicFrame 的代码，但在尝试执行 return 语句时遇到了这个奇怪的错误，有什么线索吗？

错误： {AttributeError}'str' object has no attribute '_jvm'

# record is DynamicFrame
def extractCustomFields(record, ctx):
    rec = record.toDF()
    rec = rec.withColumn("lastname", rec["customfields"][0].value)
    rec.show()
return DynamicFrame.fromDF(rec, ctx, "recordTransform")

Answer 1

fromDF() 期望 GlueContext 作为第二个参数。你需要通过：

return DynamicFrame.fromDF(rec, ctx, "recordTransform")

将 DataFrame 转换为 DynamicFrame 时出现问题

Problem when converting DataFrame to DynamicFrame

apache-spark-sql

pyspark

aws-glue