如何在 Scala 中将 DataFrame 转换为 DynamicFrame 对象
How to convert DataFrame to DynamicFrame object in Scala
我正在尝试将我的一些 pySpark 代码转换为 Scala 以提高性能。在 AWS Glue（使用 Apache Spark）中，会自动为您生成一个脚本，它通常使用 DynamicFrame 对象来加载、转换和写出数据。但是，DynamicFrame class 不具有与 DataFrame class 相同的所有功能，有时您必须转换回 DataFrame 对象，反之亦然才能执行某些操作。下面是我如何在 pySpark 中从 DataFrame 转换为 DynamicFrame 对象：
// PySpark version
// datasource is a DynamicFrame object
datasource0 = datasource.toDF().limit(5000000)
applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")
Scala 中是否有与 fromDF 等效的函数来还原为 DynamicFrame 对象？
DynamicFrame 对象有一个 apply method:
val dynamicFrame = DynamicFrame(dataframe, glueContext)
我正在尝试将我的一些 pySpark 代码转换为 Scala 以提高性能。在 AWS Glue（使用 Apache Spark）中，会自动为您生成一个脚本，它通常使用 DynamicFrame 对象来加载、转换和写出数据。但是，DynamicFrame class 不具有与 DataFrame class 相同的所有功能，有时您必须转换回 DataFrame 对象，反之亦然才能执行某些操作。下面是我如何在 pySpark 中从 DataFrame 转换为 DynamicFrame 对象：
// PySpark version
// datasource is a DynamicFrame object
datasource0 = datasource.toDF().limit(5000000)
applymapping1 = DynamicFrame.fromDF(datasource0, glueContext, "applymapping1")
Scala 中是否有与 fromDF 等效的函数来还原为 DynamicFrame 对象？
DynamicFrame 对象有一个 apply method:
val dynamicFrame = DynamicFrame(dataframe, glueContext)