将宽数据帧转置为长数据帧

Question

我的数据框如下所示：

Region, 2000Q1, 2000Q2, 2000Q3, ...
A, 1,2,3,...

我想通过 'Region' 将宽 table 转置为长 table。所以最终产品看起来像：

Region, Time, Value
A, 2000Q1,1
A, 2000Q2, 2
A, 2000Q3, 3
A, 2000Q4, 4
....

原来的table有非常宽的列数组，但聚合级别始终是区域，其余列设置为转置。

您知道执行此操作的简单方法或功能吗？

Answer 1

尝试使用 arrays_zip 函数然后 explode the array

Example:

df=spark.createDataFrame([('A',1,2,3)],['Region','2000q1','2000q2','2000q3'])

from pyspark.sql.functions import *
from pyspark.sql.types import *

df.withColumn("cc",explode(arrays_zip(array(cols),split(lit(col_name),"\|")))).\
select("Region","cc.*").\
toDF(*['Region','Value','Time']).\
show()
#+------+-----+------+
#|Region|Value|  Time|
#+------+-----+------+
#|     A|    1|2000q1|
#|     A|    2|2000q2|
#|     A|    3|2000q3|
#+------+-----+------+

Answer 2

类似但改进了列计算。

cols = df.columns
cols.remove('Region')

import pyspark.sql.functions as f

df.withColumn('array', f.explode(f.arrays_zip(f.array(*map(lambda x: f.lit(x), cols)), f.array(*cols), ))) \
  .select('Region', 'array.*') \
  .toDF('Region', 'Time', 'Value') \
  .show(30, False)

+------+------+-----+
|Region|Time  |Value|
+------+------+-----+
|A     |2000Q1|1    |
|A     |2000Q2|2    |
|A     |2000Q3|3    |
|A     |2000Q4|4    |
|A     |2000Q5|5    |
+------+------+-----+

p.s。不要接受这个作为答案:)

将宽数据帧转置为长数据帧

Transpose wide dataframe to long dataframe

apache-spark-sql

pyspark

pyspark-dataframes