如何按名称从 Glue DynamicFrame 中检索字段值
How to Retrieve a field value from a Glue DynamicFrame by name
在 Spark DataFrame 中,您可以使用其名称(如 df['personId']
)来处理架构中列的值 - 但这种方式不适用于 Glue 的 DynamicFrame。有没有类似的方法,无需将 DynamicFrame 转换为 DataFrame,直接按名称访问列值?
可以使用select_fields
,看
https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-SelectFields.html.
在您的情况下,它将是 df.select_fields("personId")
。根据你想做的事情,你可以把它保存为一个新的动态框架,或者只看数据。
new_frame = df.select_fields("personId")
new_frame.show()
在 Spark DataFrame 中,您可以使用其名称(如 df['personId']
)来处理架构中列的值 - 但这种方式不适用于 Glue 的 DynamicFrame。有没有类似的方法,无需将 DynamicFrame 转换为 DataFrame,直接按名称访问列值?
可以使用select_fields
,看
https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-SelectFields.html.
在您的情况下,它将是 df.select_fields("personId")
。根据你想做的事情,你可以把它保存为一个新的动态框架,或者只看数据。
new_frame = df.select_fields("personId")
new_frame.show()