Scala 中的函数如何 return 多个数据帧?
How return multiple DataFrames by the functions in Scala?
我正在编写一个应该 return 多个数据帧的函数:
val df1, df2, df3 = getData(spark,df1,df2,df3)
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) : DataFrame = {
val epoch = System.currentTimeMillis() / 1000
val df1 = spark.read.parquet(path1)
val df2 = spark.read.parquet(path2)
val df3 = spark.read.parquet(path3)
df1, df2, df3
}
但是,我得到了 df1, df2, df3
无法 returned 的编译错误。
您可以 return 元组或数据框列表:
例如:
发送数据帧的元组
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) = {
//code
(df1, df2, df3)
}
发送数据帧列表
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) = {
//code
List(df1, df2, df3)
}
我正在编写一个应该 return 多个数据帧的函数:
val df1, df2, df3 = getData(spark,df1,df2,df3)
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) : DataFrame = {
val epoch = System.currentTimeMillis() / 1000
val df1 = spark.read.parquet(path1)
val df2 = spark.read.parquet(path2)
val df3 = spark.read.parquet(path3)
df1, df2, df3
}
但是,我得到了 df1, df2, df3
无法 returned 的编译错误。
您可以 return 元组或数据框列表:
例如: 发送数据帧的元组
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) = {
//code
(df1, df2, df3)
}
发送数据帧列表
def getData(spark: SparkSession,
path1: String,
path2: String,
path3: String) = {
//code
List(df1, df2, df3)
}