提取列值并将其作为 Spark 数据框中的数组分配给另一列
Extract a column value and assign it to another column as an array in Spark dataframe
我有一个包含以下列的 Spark Dataframe。
C1 | C2 | C3| C4
1 | 2 | 3 | S1
2 | 3 | 3 | S2
4 | 5 | 3 | S2
我想通过从 C4 列中获取不同的值来生成另一个 C5 列
像 C5
[S1,S2]
[S1,S2]
[S1,S2]
有人可以帮助我如何使用 Scala 在 Spark 数据框架中实现这一点吗？
您可能希望先从第 4 列收集不同的项目并将它们放入列表中，然后使用 withColumn 通过创建 udf 创建一个新列 C5总是 return 常量列表：
val uniqueVal = df.select("C4").distinct().map(x => x.getAs[String](0)).collect.toList
def myfun: String => List[String] = _ => uniqueVal
def myfun_udf = udf(myfun)
df.withColumn("C5", myfun_udf(col("C4"))).show
+---+---+---+---+--------+
| C1| C2| C3| C4| C5|
+---+---+---+---+--------+
| 1| 2| 3| S1|[S2, S1]|
| 2| 3| 3| S2|[S2, S1]|
| 4| 5| 3| S2|[S2, S1]|
+---+---+---+---+--------+
我有一个包含以下列的 Spark Dataframe。
C1 | C2 | C3| C4
1 | 2 | 3 | S1
2 | 3 | 3 | S2
4 | 5 | 3 | S2
我想通过从 C4 列中获取不同的值来生成另一个 C5 列 像 C5
[S1,S2]
[S1,S2]
[S1,S2]
有人可以帮助我如何使用 Scala 在 Spark 数据框架中实现这一点吗？
您可能希望先从第 4 列收集不同的项目并将它们放入列表中，然后使用 withColumn 通过创建 udf 创建一个新列 C5总是 return 常量列表：
val uniqueVal = df.select("C4").distinct().map(x => x.getAs[String](0)).collect.toList
def myfun: String => List[String] = _ => uniqueVal
def myfun_udf = udf(myfun)
df.withColumn("C5", myfun_udf(col("C4"))).show
+---+---+---+---+--------+
| C1| C2| C3| C4| C5|
+---+---+---+---+--------+
| 1| 2| 3| S1|[S2, S1]|
| 2| 3| 3| S2|[S2, S1]|
| 4| 5| 3| S2|[S2, S1]|
+---+---+---+---+--------+