在 pyspark 中分解 Maptype 列

Question

我有一个这样的数据框

data = [(("ID1", {'A': 1, 'B': 2}))]
df = spark.createDataFrame(data, ["ID", "Coll"])
df.show()

+---+----------------+
| ID|            Coll|
+---+----------------+
|ID1|[A -> 1, B -> 2]|
+---+----------------+

df.printSchema()
root
 |-- ID: string (nullable = true)
 |-- Coll: map (nullable = true)
 |    |-- key: string
 |    |-- value: long (valueContainsNull = true)

我想展开 'Coll' 列，这样

+---+-----------+
| ID| Key| Value|
+---+-----------+
|ID1|   A|     1|
|ID1|   B|     2| 
+---+-----------+

我正在尝试在 pyspark 中执行此操作

如果我只使用一列就成功了，但是我也想要 ID 列

df.select(explode("Coll").alias("x", "y")).show()

+---+---+
|  x|  y|
+---+---+
|  A|  1|
|  B|  2|
+---+---+

Answer 1

只需将 ID 列添加到 select 就可以了：

df.select("id", explode("Coll").alias("x", "y"))

在 pyspark 中分解 Maptype 列

Explode Maptype column in pyspark

explode

apache-spark

apache-spark-sql

pyspark