如何在 PySpark 中将两列堆叠成一列？

Question

我有以下 PySpark DataFrame：

id   col1   col2
A    2      3
A    2      4
A    4      6
B    1      2

我想堆叠 col1 和 col2 以获得单列，如下所示：

id   col3
A    2   
A    3
A    4
A    6
B    1
B    2

我该怎么做？

df = (
    sc.parallelize([
        (A, 2, 3), (A, 2, 4), (A, 4, 6),
        (B, 1, 2),
    ]).toDF(["id", "col1", "col2"])
)

Answer 1

为此，按 "id" 分组，然后将 "col1" 和 "col2" 的列表收集到一个聚合中，然后再次将其分解为一列。要获得唯一编号，只需删除后面的重复项。

我看到您还在最终结果中对数字进行了排序，这是通过对聚合中的连接列表进行排序来完成的。

以下代码：

from pyspark.sql.functions import concat, collect_list, explode, col, sort_array

df = (
    sc.parallelize([
        ('A', 2, 3), ('A', 2, 4), ('A', 4, 6),
        ('B', 1, 2),
    ]).toDF(["id", "col1", "col2"])
)

result = df.groupBy("id") \
.agg(sort_array(concat(collect_list("col1"),collect_list("col2"))).alias("all_numbers")) \
.orderBy("id") \
.withColumn('number', explode(col('all_numbers'))) \
.dropDuplicates() \
.select("id","number") \
.show()

将产生：

+---+------+
| id|number|
+---+------+
|  A|     2|
|  A|     3|
|  A|     4|
|  A|     6|
|  B|     1|
|  B|     2|
+---+------+

Answer 2

最简单的是将col1和col2合并到一个数组列中然后explode它：

df.show()
+---+----+----+
| id|col1|col2|
+---+----+----+
|  A|   2|   3|
|  A|   2|   4|
|  A|   4|   6|
|  B|   1|   2|
+---+----+----+

df.selectExpr('id', 'explode(array(col1, col2))').show()
+---+---+
| id|col|
+---+---+
|  A|  2|
|  A|  3|
|  A|  2|
|  A|  4|
|  A|  4|
|  A|  6|
|  B|  1|
|  B|  2|
+---+---+

如果不需要，可以删除重复项。

Answer 3

如果涉及的列数较少，这是一个相当简单的解决方案。

df = (
    sc.parallelize([
        ('A', 2, 3), ('A', 2, 4), ('A', 4, 6),
        ('B', 1, 2),
    ]).toDF(["id", "col1", "col2"])
)


df.show()

+---+----+----+
| id|col1|col2|
+---+----+----+
|  A|   2|   3|
|  A|   2|   4|
|  A|   4|   6|
|  B|   1|   2|
+---+----+----+

df1 = df.select(['id', 'col1'])
df2 = df.select(['id', 'col2']).withColumnRenamed('col2', 'col1')

df_new = df1.union(df2)
df_new = df_new.drop_duplicates()
df_new.show()

+---+----+
| id|col1|
+---+----+
|  A|   3|
|  A|   4|
|  B|   1|
|  A|   6|
|  A|   2|
|  B|   2|
+---+----+

如何在 PySpark 中将两列堆叠成一列？

How to stack two columns into a single one in PySpark?

python

pyspark

pyspark-dataframes