Aws Glue：如何保留 DynamicFrame
Aws Glue: how to persist a DynamicFrame
有没有办法像在 Spark 中使用 dataframe.cache() 或 dataframe.persist() 那样在 Glue 中保留 DynamicFrame？
不行，目前没有办法直接持久化DynamicFrame。但是，您可以将其转换为 DataFrame 并使用 df.persist() 或 df.cache()，然后在需要时将其转换回 DynamicFrame：
val df = dynamicFrame.toDF()
val cachedDf = df.persist()
val dynamicFrameCached = DynamicFrame(cachedDf, glueContext)
有没有办法像在 Spark 中使用 dataframe.cache() 或 dataframe.persist() 那样在 Glue 中保留 DynamicFrame？
不行，目前没有办法直接持久化DynamicFrame。但是，您可以将其转换为 DataFrame 并使用 df.persist() 或 df.cache()，然后在需要时将其转换回 DynamicFrame：
val df = dynamicFrame.toDF()
val cachedDf = df.persist()
val dynamicFrameCached = DynamicFrame(cachedDf, glueContext)